ارائه یک الگوریتم زمانبندی جدید برای کاهش زمان محاسبات در محیط هادوپ
عنوان مقاله: ارائه یک الگوریتم زمانبندی جدید برای کاهش زمان محاسبات در محیط هادوپ
شناسه ملی مقاله: JR_PADSA-8-2_005
منتشر شده در در سال 1399
شناسه ملی مقاله: JR_PADSA-8-2_005
منتشر شده در در سال 1399
مشخصات نویسندگان مقاله:
سید رضا پاکیزه - مربی گروه کامپیوتر، دانشگاه علمی– کاربردی، دهدشت، ایران
سیدمجید عارفی نژاد - دانشجوی کارشناسیارشد، دانشگاه افسری و تربیت پاسداری امام حسین(ع)
خلاصه مقاله:
سید رضا پاکیزه - مربی گروه کامپیوتر، دانشگاه علمی– کاربردی، دهدشت، ایران
سیدمجید عارفی نژاد - دانشجوی کارشناسیارشد، دانشگاه افسری و تربیت پاسداری امام حسین(ع)
امروزه پروژه متنباز هادوپ بههمراه چهارچوب نگاشت-کاهش در بین موسسات، سازمانها و محققین محبوبیت زیادی دارد که برای پردازش حجم انبوهی از دادهها بهصورت موازی بر روی خوشهای از کامپیوترها بسیار مناسب است. نگاشت-کاهش برای حل مشکلات محاسبات دادههای حجیم معرفی شده است که از قاعده تقسیم-غلبه پیروی میکند. مانند هر جای دیگر، مبحث زمان و زمانبندی در نگاشت-کاهش از اهمیت بسیار بالایی برخوردار است. بههمین دلیل در دهه اخیر الگوریتمهای زمانبندی متعددی در این زمینه تدارک یافته است. ایده اصلی این الگوریتمها افزایش نرخ محلیسازی داده، همزمانسازی، کاهش زمان پاسخ و زمان اتمام وظایف میباشد. اکثر این الگوریتمها تک هدفه میباشند و فقط یکی از موارد ذکر شده را مورد هدف قرار میدهند. الگوریتمهای چند هدفه موجود فقط بر روی یکی از فازهای اول یا دوم نگاشت-کاهش تمرکز دارند. در این مقاله، یک الگوریتم زمانبندی ترکیبی مبتنی بر اولویتبندی پویا کارها و محلیسازی داده در محیط نگاشت-کاهش به نام "HSMRPL" ارائه میشود که هدف اصلی آن افزایش نرخ محلیسازی داده و کاهش زمان محاسبات میباشد. در این الگوریتم از دو روش اولویتبندی پویا و شناسه محلیسازی استفاده میشود. برای ارزیابی الگوریتم پیشنهادی، آن را با الگوریتمهای پیشفرض هادوپ و به کمک محکهای استاندارد مقایسه کردیم. نتایج حاصله نشان میدهد که الگوریتم پیشنهادی ما نرخ محلیسازی را نسبت به الگوریتم FIFO، ۵/۱۸ درصد و نسبت به الگوریتم Fair، ۴/۱۰ درصد افزایش داده است. همچنین، الگوریتم پیشنهادی ما نسبت به الگوریتم FIFO، ۸/۳ درصد و نسبت به Fair، ۴/۱۳ درصد سریعتر است.
کلمات کلیدی: زمانبندی نگاشت-کاهش, الگوریتم ترکیبی, محلیسازی داده, اولویتبندی پویا, زمانبندی هادوپ
صفحه اختصاصی مقاله و دریافت فایل کامل: https://civilica.com/doc/1187618/