CIVILICA We Respect the Science
(ناشر تخصصی کنفرانسهای کشور / شماره مجوز انتشارات از وزارت فرهنگ و ارشاد اسلامی: ۸۹۷۱)

پردازش توزیع شده داده های کوچک توسط فریم ورک Hadoop

عنوان مقاله: پردازش توزیع شده داده های کوچک توسط فریم ورک Hadoop
شناسه ملی مقاله: FBFI02_028
منتشر شده در کنفرانس بین المللی فناوری اطلاعات ایران در سال 1395
مشخصات نویسندگان مقاله:

مسعود خلج - دانشجوی کارشناسی ارشد مهندسی کامپیوتر، واحد سپیدان ، دانشگاه آزاد اسلامی ، سپیدان ، ایران
زینب حسینی - دانشجوی کارشناسی ارشد مهندسی کامپیوتر، واحد سپیدان ، دانشگاه آزاد اسلامی ، سپیدان ، ایران
عرفانه نوروزی - گروه مهندسی کامپیوتر، واحد سپیدان، دانشگاه آزاد اسلامی، سپیدان، ایران

خلاصه مقاله:
هدوپ یک فریم ورک متن باز برای ذخیره سازی امن و پردازش توزیع شده داده های حجیم می باشد، که دارای دو بخش اصلی سیستم فایل توزیع شده هدوپ و موتور پردازش نگاشت و کاهش می باشد. ساختار هدوپ برای کار با داده های بزرگ طراحی شده لذا زمانی که ما دارای فایل های کوچک کلان هستیم هدوپ نمیتواند برخورد مناسبی در مواجه با این مساله از خود نشان دهد و باعث ایجاد بار سنگین بر روی گره اصلی هدوپ و افزایش زمان پردازش نگاشت و کاهش می شود. راهکار های متفاوتی میتواند در برخورد با داده های کوچک به کار برده شود تا باعث بهبود عملکرد ذخیره سازی و پردازش و محاسبات هدوپ شود. در این مقاله به روش هایی که میتواند به بهبود پردازش داده های کوچک در هدوپ کمک کند پرداخته می شود

کلمات کلیدی:
کلان داده ( Big Data )، هدوپ (Hadoop) ، فایل سیستم توزیع شده هدوپ (HDFS) ، نگاشت ، کاهش (MapReduce) ، فایل کوچک (Small file)

صفحه اختصاصی مقاله و دریافت فایل کامل: https://civilica.com/doc/632046/