مروری بر محاسبات موازی بر روی مجموعه داده های بزرگ مبتنی بر تکنیک MapReduce و Hadoop

سال انتشار: 1396
نوع سند: مقاله کنفرانسی
زبان: فارسی
مشاهده: 722

فایل این مقاله در 11 صفحه با فرمت PDF قابل دریافت می باشد

استخراج به نرم افزارهای پژوهشی:

لینک ثابت به این مقاله:

شناسه ملی سند علمی:

COMCONF05_500

تاریخ نمایه سازی: 21 اردیبهشت 1397

چکیده مقاله:

MapReduce یک تکنیک پردازش موازی در سیستمهای محاسباتی توزیع شده است. این تکنیک، دادهها را به قسمتهای کوچکتر تقسیم میکند و هر فرآیند نیز به دستورات کوچکتر شکسته میشود و گره های مختلف در سیستم های توزیع شده، بخشی از عملیات را بر مبنای این قسمتها مدیریت میکنند. در بخش اولیه این تکنیک از تقسیم داده ها برای خواندن اطلاعات ورودی و گرههای میانی استفاده میشود. سپس این دادهها برچسپ گذاری شده و در میان گرههای محاسباتی براساس استفاده از توابع درهم ساز توزیع شده و نتایج خود را به گره مرکزی انتقال میدهند. در بخش ثانویه این تکنیک نتیجه ی اصلی بر مبنای فرمت درست خروجی تولید میشود. تکنیک Hadoop نیز مدل برنامه نویسی ساده ای را مهیا میکند که کارآمدی مناسبی برای محاسبات دادههای بزرگ دارد. در این مطالعه موردی سه الگوریتم در حوزه MapReduce و چهار الگوریتم در حوزه Hadoop مورد بررسی و مقایسه قرار میگیرند. نتایج حاصل از این مطالعه نشان میدهد در هر دو مورد تکنیک مبتنی بر MapReduce توانسته تا حد امکان زمان و سرعت پردازش دادههایی با ابعاد بالا را بهبود بخشد.

نویسندگان

شبنم پاک پرور

دانشجوی کارشناسی ارشد موسسه آموزش عالی شهریار، گروه مهندسی کامپیوتر، ایران، آستارا

فاطمه امین صفایی اردکانی

دانشجوی کارشناسی ارشد موسسه آموزش عالی شهریار، گروه مهندسی کامپیوتر، ایران، آستارا

فرناز حسینی

عضو هیات علمی موسسه آموزش عالی شهریار، گروه مهندسی کامپیوتر، ایران، آستارا