پردازش موازی در داده کاوی

سال انتشار: 1397
نوع سند: مقاله کنفرانسی
زبان: فارسی
مشاهده: 646

فایل این مقاله در 10 صفحه با فرمت PDF قابل دریافت می باشد

این مقاله در بخشهای موضوعی زیر دسته بندی شده است:

استخراج به نرم افزارهای پژوهشی:

لینک ثابت به این مقاله:

شناسه ملی سند علمی:

DPFSTS06_113

تاریخ نمایه سازی: 6 شهریور 1398

چکیده مقاله:

با افزایش انفجار گونه داده های بزرگ در زمینه های صنعتی و علمی، برای کار بر روی این داده ها و تجزیه و تحلیل آنها، سیستم های پردازش داده های بزرگ بسیار ضروری به نظر می رسد. مپ ریدوس و اسپارک دو محدوده محاسبات خوشه ای بسیار محبوب برای تجزیه و تحلیل داده ها در مقیاس بزرگ هستند، در حال حاضر مسلما اسپارک از لحاظ ویژگی هایی مانند تحمل خطا، عملکرد بالای پردازش داده ها در حافظه و مقیاس پذیری، جزء پیشرفته ترین سیستم های محاسباتی داده های بزرگ می باشد. اسپارک یه مدل برنامه ریزی آردیدی (مجموعه داده های توزیع شده) را در اختیار شما قرار می دهد، مدل برنامه نویسی با مجموعه ای از تحول ارائه شده و اپراتورهایی که عملکرد عملیات را می توان توسط کاربران با توجه به برنامه های خود را سفارشی کنند. اسپارک در اصل به عنوان یک سیستم پردازش سریع و کلی ارائه شده است که با توجه به شرایط مختلف از زمان معرفی آن، تلاش زیادی برای انجام کارهای تحقیقاتی روی آن انجام شده است. در این مقاله ما دلایل اهمیت داده پردازی موزای را بررسی نمودیم و در نهایت دو مدل محاسباتی مپ ریدوس و اسپارک را بعنوان ابزارهای رایج و مهم دادهپردازی موازی، بررسی و در مواردی با هم مقایسه نمودیم. در این بررسی نهایتا مشخص شد، بجز عملیات مرتب سازی، اسپارک گزینه بهتری برای داده کاوی موازی است.

نویسندگان

سعید بختیاری

دانشگاه آزاد اسلامی تهران مرکز، تهران

بابک خسروی

دانشگاه آزاد اسلامی تهران مرکز، ، تهران