پردازش برخط جریان داده‌‌های عظیم با استفاده از Apache Storm

در سال‌های اخیر شاهد افزایش چشم گیر داده‌‌های بزرگ (Big Data) می‌باشد که به مجموعه‌‌های داده‌ای بزرگی اطلاق می‌شود که به قدری بزرگ و حجیم هستند که با ابزار‌های مدیریتی و پایگاه‌‌های داده سنتی و معمولی قابل مدیریت نیستند. این مبحث، به این دلیل مقبولیت بیشتری پیدا می‌کند که با استفاده از تحلیل حجم‌‌های بیشتری از داده‌ها، می‌توان تحلیل‌‌های بهتر و پیشرفته‌تری را برای مقاصد تجاری، پزشکی‌ و امنیتی، انجام داد و نتایج مناسب‌تری را دریافت‌کرد. بیشتر تحلیل‌‌های مورد نیاز در پردازش داده‌‌های عظیم، توسط دانشمندان در علومی مانند هواشناسی، ژنتیک، شبیه‌سازی‌‌های پیچیده فیزیک، تحقیقات زیست‌شناسی و محیطی، جست‌وجوی اینترنت، تحلیل‌‌های اقتصادی و مالی و تجاری مورد استفاده قرار می‌گیرد. از این رو با رشد روز افزون داده‌ها و نیاز به بهره برداری و تحلیل از این داده‌ها، بکارگیری زیرساخت‌های Big Data از اهمیت ویژه ای برخوردار شده است. چالش‌‌های حوزه کلان داده در جهار بعد اصلی حجم داده، نرخ تولید، تنوع و نوسان مطرح شده است. با توجه به ویژگی‌های ذکر شده، پردازش و تحلیل داده‌‌های عظیم مقوله ای است که نیازمند نگاه، ساز و کار‌ها و ابزار‌‌های خاص این حوزه می‌باشد. آپاچی استورم به عنوان یکی از چهارچوب‌های اصلی پردازش جریان‌داده، با مقیاس‌پذیر نمودن مدل‌های پردازش‌جریان داده بسیاری از محدودیتها را درنوردید. در این کارگاه سعی بر معرفی فناوری پردازش‌جریان‌داده داشته و سعی می‌کنیم پیرامون چگونگی استفاده از این فناوری در راستای افزایش مقیاس‌پذیری، قابلیت‌اطمینان  و قابلیت‌نگهداری  و پیشرفت‌های این فناوری در پاسخگویی به نیاز‌های عصر داده‌های‌بزرگ بحث کنیم.