ارائه یک الگوریتم زمانبندی جدید برای کاهش زمان محاسبات در محیط هادوپ

امروزه پروژه متنباز هادوپ بههمراه چهارچوب نگاشت-کاهش در بین موسسات، سازمانها و محققین محبوبیت زیادی دارد که برای پردازش حجم انبوهی از دادهها بهصورت موازی بر روی خوشهای از کامپیوترها بسیار مناسب است. نگاشت-کاهش برای حل مشکلات محاسبات دادههای حجیم معرفی شده است که از قاعده تقسیم-غلبه پیروی میکند. مانند هر جای دیگر، مبحث زمان و زمانبندی در نگاشت-کاهش از اهمیت بسیار بالایی برخوردار است. بههمین دلیل در دهه اخیر الگوریتمهای زمانبندی متعددی در این زمینه تدارک یافته است. ایده اصلی این الگوریتمها افزایش نرخ محلیسازی داده، هم­زمانسازی، کاهش زمان پاسخ و زمان اتمام وظایف میباشد. اکثر این الگوریتمها تک هدفه میباشند و فقط یکی از موارد ذکر شده را مورد هدف قرار میدهند. الگوریتم­های چند هدفه موجود فقط بر روی یکی از فازهای اول یا دوم نگاشت-کاهش تمرکز دارند. در این مقاله، یک الگوریتم زمان­بندی ترکیبی مبتنی بر اولویتبندی پویا کارها و محلیسازی داده در محیط نگاشت-کاهش به نام "HSMRPL" ارائه میشود که هدف اصلی آن افزایش نرخ محلیسازی داده و کاهش زمان محاسبات میباشد. در این الگوریتم از دو روش اولویتبندی پویا و شناسه محلیسازی استفاده میشود. برای ارزیابی الگوریتم پیشنهادی، آن را با الگوریتمهای پیشفرض هادوپ و به کمک محکهای استاندارد مقایسه کردیم. نتایج حاصله نشان میدهد که الگوریتم پیشنهادی ما نرخ محلیسازی را نسبت به الگوریتم FIFO، ۵/۱۸ درصد و نسبت به الگوریتم Fair، ۴/۱۰ درصد افزایش داده است. همچنین، الگوریتم پیشنهادی ما نسبت به الگوریتم FIFO، ۸/۳ درصد و نسبت به Fair، ۴/۱۳ درصد سریعتر است.

کلیدواژه ها:

زمانبندی نگاشت-کاهش ، الگوریتم ترکیبی ، محلیسازی داده ، اولویتبندی پویا ، زمانبندی هادوپ