مقایسه عملکرد Hadoop- Mapreduceو Spark

امروزه با رشد روز افزون ابزارهایی مانند شبکه های اجتماعی و ظهور مفاهیمی همچون وب معنایی حجم داده ها و پردازش آنها بطور شگفت انگیزی افزایش یافته است . برای نمونه یک موتور جستجو در کسری از ثانیه نتایج جستجوهای کاربر را آماده می کند که این ناشی از تحلیلی کارآمد روی داده های حجیم جمع آوری شده از سطح وب می باشد ، بنابراین وجود مکانیزمی برای پردازش داده های حجیم با هزینه ای مقرون به صرفه بسیار پر اهمیت است . در این مقاله قصد داریم الگوریتم های ترکیبی در چارچوب ماهوت براساس مدل Hadoop- Mapreduceو Spark را مورد مقایسه قرارداده و نقاط ضعف و قوت هریک را بررسی نماییم . نتایج مقایسات نشان می دهد که اسپارک علاوه بر داشتن تمامی نقاط هدوپ نقاط ضعف آن را نیز توسط پردازش درون حافظه ای ، سرعت بالاتر ، دارا بودن توابع API فراوان که این امر کار را برای برنامه نویسان و استفاده کنندگان راحت تر می کند ، قابلیت برنامه نویسی در پایتون ، اسکالا ، جاوا و حتی زبانR و موتور پردازش متحد و یکپارچه نیز بخشی از نقاط قوت اسپارک می باشد . حال آن که Mapreduce یک مدل پردازش داده با مقیاس پذیری آسان پردازش داده روی چندین گره محاسباتی است این پاردایم برنامه را در دو فاز نگاشت و کاهش اجرا می کند.

کلیدواژه ها:

هدوپ ، مپ ریدیوس ، اسپارک .