مروری بر چالش های تجزیه و تحلیل کلان داده و راه حل های رفع آن ها

امروز کلان داده به عنوان یک منبع غنی و ارزشمند برای رنج گسترده ای از سازمان ها به رسمیت شناخته شده است که به داده های تولیدشده از انواع منابع با حجم بسیار زیاد، سرعت بالا و ساختمان داده متفاوت را کلان داد می نامند. به علت اینکه داده ها بدون در نظر گرفتن شرایط کلان داده ها و در ضمن طراحی و بیشتر آن ها مبتنی بر معماری متمرکز ساخته شده اند برای کلان داده ها مناسب نیستند زیرا منجر به هزینه بالا، عملکرد و کیفیت پایین پردازش می شوند از این رو پردازش و تجزیه و تحلیل کلان داده ها امروز به یک چالش برای سیستم های اخیر تبدیل شده است. در این مقاله چالش های تجزیه و تحلیل کلان داده ها در جنبه های مقیاس داد، ناهمگونی داد و پردازش به موقع داده ها برای تجزیه و تحلیل عمیق کلان داده ها مرور شده و همچنین ابزارهایی از جمله پایگاه داده های NOSQL و مدل برنامه نویسی موازی توزیعی MapReduce عنوان راه حل هایی برای تجزیه و تحلیل کلان داده بررسی شده اند و در نهایت موفقیت اجرای مدل برنامه نویسی توزیعی MapReduce نسبت به ساختارهای سنتی در قالب نمونه هایی نشان داده شده اند .

کلیدواژه ها:

تجزیه و تحلیل کلان داده ، چالش های کلان داده ، کلان داده ، MapReduce ، NOSQL