افراز آگاه از منابع ارتباطی و پردازشی برای اجرای کارای برنامه های نگاشت-کاهش

نگاشت-کاهش و پیاده سازی متن باز آن، هادوپ، از چارچوب های غالب در پردازش داده های بزرگ هستند. نگاشت – کاهش یک مدل برنامه نویسی ساده برای پیاده سازی مسایل محاسباتی در سیستم های توزیع شده بزرگ است. این مدل از 2 بخش مهم تشکیل شده است: نگاشت و کاهش. مابین این دو بخش مهم، بخش افراز قرار دارد. این بخش با استفاده از شبکه، وظیفه ی توزیع کلیدهای تولید شده در بخش نگاشت به وظایف کاهش را بر عهده دارد. زمانیکه میزان کلیدها و مقادیر آن ها، که به طور کلی داده میانی نامیده می شوند، بزرگ باشد بخش افراز تاثیر غیر قابل انکاری بر روی زمان اجرای وظایف کاهش خواهد داشت. در این مقاله یک افراز آگاه از منابع ارتباطی و پردازشی جهت کاهش زمان اجرای وظایف کاهش ارایه می دهیم. این الگوریتم با توجه به زمان اجرا و زمان انتقال کلید به تمامی ماشین ها، ماشینی را برای اجرای وظیفه کاهش بر روی یک کلید انتخاب می کند که مجموع زمان اجرا و جابه جایی کمینه باشد. پیاده سازی این الگوریتم نشان می دهد که این افراز زمان اجرای برنامه هارا نسبت به الگوریتم پیش فرض به میزان 15% بهبود داده و با مقدار بهترین حالت نیز تنها 10% تفاوت دارد.

کلیدواژه ها:

نگاشت – کاهش ، هادوپ ، داده های بزرگ ، افراز ، آگاهی از شبکه و منبع