مروری بر روشهای استفاده شده در تخمین زمان اجرای وظایف نگاشت کاهش به منظور استفاده در اجرای احتکار آمیز در هدوپ

با گسترش تکنولوژی، حجم داده ها با سرعت زیادی در حال رشد است. پردازش این داده ها نیراز به استفاده از روش هایموازی سازی را افزایش داده است. روش های مختلفی برای استفاده از تکنولوژی موازی سازی پیاده سازی شده اند نظیر نخ ها ، واسطگذر پیغام و نگاشت کاهش. نگاشت- کاهش، مدیریت داده ها را با توزیع بین گره ها (کامپیوترها) انجام می دهد و یکی از مهمتررینروشها برای توزیع پردازش داده ها در مقیاس بزرگ است . تا به امروز ساختارهای مختلفی برای نگاشت کاهش - به وجود آمده استو هدوپ یکی از این ساختارها است که معروف ترین نرم افزار متن باز در این زمینه است. در هدوپ زمان موردنیاز برای انجام هرکار به گرهای که دیرتر از همه اجرایش تمام می شود وابسته است. شناسایی این گره و اختصاص وظیفه اش به گره دیگر اجرایاحتکار آمیز گفته می شود . از سال 2008 تاکنون روشهای مختلفی برای شناسایی گره کند پیشنهادشده است که سعی در تخمینزمان اجرای باقیمانده گره ها دارد. در این مقاله به معرفی این روشها و مقایسه آنها با یکدیگر می پردازیم.

کلیدواژه ها:

هدوپ ، اجرای احتکار آمیز ، وظایف جامانده ، نگاشت کاهش