خوشه بندی جریان داده ها به کمک چارچوب اسپارک و تحلیل موجک برای بیست و یکمین کنفرانس ملی سالانه انجمن کامپیوتر ایران

در مورد کلان داده ها، حافظه های موجود در برابر حجم داده بسیار کوچک در نظر گرفته می شوند و از طرفی در یک سری از کاربردها مانند شبکه سنسورها نیاز به پردازش اطلاعات به صورت بلادرنگ است. قسمتی از این کلان داده را جریان های داده تشکیل داده اند. به علت حجم بالای جریان داده ها امکان دسترسی تصادفی به اطلاعات وجود ندارد و مقدار محدودی از اطلاعات را میتوان در حافظه اصلی نگهداری کرد بنابراین مجبوریم آنها را در حافظه ثانوی نگهداری کنیم به همین دلیل هزینه مرور چند باره اطلاعات بسیار بالا است.خصوصیات جریان دادهها باعث شده است که الگوریتم های خوشه بندی موجود مناسب نباشند. بنابراین نیاز به ایجاد الگوریتم های خوشه بندی مخصوص جریان داده ها داریم. در اینجا ابتدا الگوریتم های خوشه بندی جریان داده ها بررسی شده اند و سپس یک الگوریتم خوشه بندی بر اساس تبدیل موجک بر روی چارچوب اسپارک پیاده سازی شده است که یک نو آوری در خوشه بندی جریان داده ها محسوب می شود.

کلیدواژه ها:

کلان داده ، جریان داده ، خوشه بندی ، تحلیل موجک ، ویولت ، اسپارک