بررسی عملکرد چارچوبهای کلان داده با الگوریتم یادگیری ماشین

رشد و گسترش روزافزون حجم اطلاعات به پدیده بیسابقهای در دنیای امروز تبدیل شده است. تجزیه و تحلیل و ذخیره سازی چنین حجم عظیمی از اطلاعات خواستار ایده های جدیدی است که توانایی پردازش و مدیریت این حجم از اطلاعات را داشته باشد. هدوپ و اسپارک دو بستر پردازش داده توزیع شده هستند. هدوپ یکی از چارچوبهای متن باز است که براساس مدل برنامه نویسی نگاشت و کاهش به منظور پردازش کلان داده ها پیاده سازی شده است. اسپارک یک چارچوب متن باز برای پردازش کلان داده میباشد که برای افزایش سرعت، راحتی در استفاده و پردازشهای پیچیده طراحی شده است. در این مقاله، این دو بستر پردازش داده از لحاظ زمان اجرا، میزان مصرف حافظه و میزان بهره وری پردازنده مرکزی با اجرای الگوریتم KNN مورد ارزیابی و مقایسه قرار گرفته اند. نتایج بدست آمده از برتری 2 الی 4 برابری اسپارک نسبت به هدوپ در مدت زمان اجرای برنامه حکایت دارد. از طرفی میزان استفاده از حافظه در اسپارک بیشتر از هدوپ است. همچنین ارزیابیها نشان میدهد هدوپ به میزان بیشتری از پردازنده مرکزی استفاده میکند.

کلیدواژه ها:

الگوریتم یادگیری ماشین ، بسترهای کلان داده ، بررسی عملکرد ، کلان داده