پیشنهاد یک معماری مقیاس پذیر مبتنی بر پروژه های متن باز برای پردازش جریان های داده

در سال های اخیر به یمن گسترش اینترنت و شبکه های اجتماعی، تصاویر ماهواره ای و دوربین های نظارتی، رشد روزافزون استفاده از حسگرها بخصوص در حوزه اینترنت اشیاء، افزایش حجم تولید فایل های ثبت تراکنش در سرورها، نفوذ و سایل ارتباطی همراه و نهایتا هوشمند شدن وسایل زندگی و پزشکی، نیازمندی های جدیدی در حوزه پردازش داده بوجود آمده است و مدل های سنتی پردازش کلان داده مانند روش توزیع و تجمیع، پاسخگوی آنها نیست. امروزه در بسیاری از کاربردها، نیاز به سامانه هایی داریم که بتوانند حجم عظیم داده های تولید شده را در همان لحظه دریافت، بررسی و پردازش کرده و سپس آنها را ذخیره کنند. این سامانه ها که به طور خاص برای کار با داده های نامحدود طراحی شده اند را سامانه های پردازش جریان می نامیم و در این مقاله به این بخش نوین از اکوسیستم کلان داده خواهیم پرداخت. مروری بر مفاهیم و اصلاحات، بررسی چالش ها و نهایتا ابزارها و کتابخانه های موجود در این حوزه و راهنمایی هایی برای انتخاب در ست یک چارچوب جریان پردازی و نهایتا پیشنهاد یک معماری مقیاس پذیر براساس پروژه های متن باز حوزه پردازش جریان، شاکله اصلی این مقاله را تشکیل می دهند.

کلیدواژه ها:

کلان داده ، پردازش جریان ، جریان پردازی ، معماری داده مقیاس پذیر