محاسبات توزیع شده مبتنی بر فناوری پردازش کلان داده در آپاچی اسپارک

امروزه حجم زیادی از داده ها در کاربردهای مختلف ایجاد میشود که پردازش و تحلیل آنها را با چالش مواجه ساخته است. پردازش داده های بزرگ چالش مهم امروز به شمار میرود و برای ارایه یک تحلیل در زمان واقعی می توان از پردازش در سیستم های توزیع شده استفاده نمود. مزیت پردازش سیستم های توزیع شده در آن است که زمان پردازش و تحلیل کلان داده کاهش داده می شود و تا حدودی در زمان واقعی این پردازش انجام می شود. آپاچی اسپارک یک سیستم پردازش کلان داده است که با استفاده از محاسبات توزیع شده می تواند اطلاعات و دادهها را در زمان کمتر از سیستم های کلاسیک پردازش نماید. یکی از چالش های مهم معماری آپاچی اسپارک پیچیدگی این فناوری و معماری آن نظیر نگاشت و کاهش برای پردازش کلان داده است از این جهت در این پژوهش تلاش می شود تا معماری این فناوری و اجزای آن معرفی شده و مزایا و چالش های آن نیز ارایه شود. مطالعات ما نشان میدهد معماری آپاچی اسپارک به علت استفاده از حافظه اصلی در پردازش نسبت به روش های دیگر پردازش توزیع شده مانند هدوپ سرعت بیشتری در پردازش کلان داده دارد

کلیدواژه ها:

کلان داده ، آپاچی اسپارک ، سیستم توزیع شده ، نگاشت و کاهش