مروری بر روشهای خوشهبندی موازی دادههای حجیم مبتنی برMapReduce

خوشه بندی یک ابزار قدرتمند به منظور پردازش داده های تولیدشده توسط برنامه های مختلف می باشد. با پیشرفت پایگاه داده ها و فناوری های اینترنت الگوریتم های خوشه بندی با چالش هایی در زمینه مدیریت رشد سریع و حجم زیاد داده مواجه هستند. علی رغم پیشرفت های قابل توجه در تکنولوژی پردازنده ها درزمینه سرعت، الگوریتم های خوشه بندی سریالی وظایف موردنیاز را در یک مدت زمان منطقی برای مجموعه داده های عظیم به طور کامل انجام نمی دهند. آن ها در عمل نیازمند چندین پویش داده برای رسیدن به همگرایی می باشند که برای پایگاه داده های بزرگ این پویش بسیار گران تمام می شود. لذا اهمیت خوشه بندی موازی برای داده های حجیم بسیار پررنگ می شود. در این مقاله سعی در بررسی روش های موجود جهت خوشه بندی موازی داده های حجیم مبتنی بر MapReduce را داریم. MapReduce در اصل توسط Google به عنوان یک مدل برنامه نویسی توزیع شده که از سرورهای عظیم برای پردازش موازی مجموعه داده های انبوه (چند ترابایتی) استفاده می کند، معرفی شد، این مدل می تواند به بسیاری از برنامه های محاسباتی با حجم بزرگ اعمال شود و ویژگی های جالبی مثل موازی سازی خودکار، توازن بار، کمینه سازی انتقال دیسک و شبکه و اداره قدرتمند در هنگام شکست ماشین دارد. MapReduce با شکستن یک برنامه بزرگ به بخش های کوچک تر، پردازش هر بخش به صورت موازی و سپس ترکیب نتایج برای تولید نتیجه نهایی کار می کند

کلیدواژه ها:

داده های حجیم ، خوشه بندی ، خوشه بندی موازی