پردازش داده های کلان (Big data)

کلان داده ها به هر مجموعه ی بسیار وسیع و پیچیده ای اطلاق می شود که پردازش آن با استفاده از برنامه های پردازش دادهای سنتی مشکل است . کار باکلان داده ها با استفاده از سامانه های مدیریت پایگاه داده های منطقی و آمار کتابخانه ای سخت است و در مقابل نیازمند نرم افزارهای موازی بسیاری است که روی ده ها، صدها یا حتی هزاران سرور اجرا می شوند . کلان داده ها معمولا شامل مجموعه داده هایی هستند که دارای اندازهای می باشند که معمولا فراتر از توانایی معمول ابزار نرمافزاری برای گرفتن، انتخاب، مدیریت و پردازش داده ها در یک زمان معین می باشند . اندازه ای داده های عظیم یک موضوع متغیر است که از چند ده ترابایت تا چندین پتابایت داده متغیر است . کلان داده ها مجموعه ای از تکنیک ها و فن آوری هایی است که نیازمند فرم های جدید اختلاط برای آشکار کردن مقادیر پنهان وسیع از روی مجموعه داده هایی است که متنوع، پیچیده و بزرگ مقیاس می باشند . محیط داده های وسیع برای کسب، سازماندهی و تجزیه و تحلیل انواع مختلف داده ها مورد استفاده قرار می گیرد داده های بزرگ با خود، مسیولی های بزرگی را نیز همراه دارند ؛ از آنجایی که داده های بزرگ تنها یک صنع بر مبنای نرم افزار نبوده و دارای استفاده های متعددی در زمینه های عمرومی مانند آموزش های مرتبط با سلام و یا آموزش های مرتبط با قسم های مدیریتی نیزمی باشد ، به همین دلیل وجود آن برای افزایش بهره وری در تمام دنیا بسیار پر اهمی می باشد . داده های برزرگ بره حجم بزرگی از داده هایی اشاره خواهد داش که آن را اگزابای می نامیم این میزان داده ها همچنین به عنوان داده هایی که خارج از توان فناوری حال حاضر، جه نگهداری ، مردیری و پردازش به صورت بهینه می باشند نیز شناخته می شوند . الگو و یرا ساختار پردازش دسته های داده های بزرگ از معمراری متمرکز بره معماری توزیعی تغییر کرده است در این مقاله ما در کنار مشرص کردن نگرانی های خاص در دنیای داده های بزرگ اقدام به ارایه ی ، بررسی دقیق و کاملی از تحقیقات ، و تجزیه و تحلیل های صرورت گرفته برروی داده های بزرگ خواهیم کرد. یک مشاهده در مورد چارچوب نگاشت کاهش وجود دارد که این چارچوب میزان وسیع داده های متوسط را تولید می کند در این مقاله مروری بر مفهوم کلان داده و مهمترین مسایل پیرامون ، توانمندی های رایانش ابری ، ترسیم ابعاد کلان داده، مقایسه روشه پردازش کلان داده با استفاده از سیستم های پردازش داده موازی و MapReduce، کاربدهای کلان داده و چالش های هانها خواهیم پرداخت.به بررسی راهکارهای موجود برای مدیریت آن خ ،آن خواهیم داشت.

کلیدواژه ها:

داده های کلان ، پردازش داده ها ، داده کاوری