روشی نوین برای بهبود کارایی MapReduce با استفاده از ترکیب کننده تطبیقی

سال انتشار: 1393
نوع سند: مقاله کنفرانسی
زبان: فارسی
مشاهده: 489

فایل این مقاله در 5 صفحه با فرمت PDF قابل دریافت می باشد

استخراج به نرم افزارهای پژوهشی:

لینک ثابت به این مقاله:

شناسه ملی سند علمی:

BIGDATA01_017

تاریخ نمایه سازی: 26 مرداد 1397

چکیده مقاله:

در سال های اخیر، نرخ رشد داده ها افزایش چشم گیری داشته است. بر این اساس به چارچوبی قدرتمند برای پردازش وتجزیه و تحلیل داده های عظیم نیاز داریم. MapReduce چارچوبی مناسب برای حل این مشکل است. این چارچوب پیچیدگی های برنامه نویسی موازی همانند توزیع داده ها، زمانبندی و خرابی گره را برطرف می کند. در این چارچوب، کاربرد توابع MapReduce را تعریف می نماید. تابع Map با استفاده از جفت کلید/ مقدار ورودی، جفت کلید/ مقدار میانی را محاسبه می نماید. سپس تابع Reduce جفت های کلید/ مقدار با کلید مبانی یکسان را با هم ادغام می کند. در این مقاله روشی نوین برای بهبود کارایی فرایند MapReduce ارایه داده ایم که از یک ترکیب کننده تطبیقی استفاده می کند و بر مبنای میزان ترافیک شبکه فعال می شود. روش پیشنهادی بر روی یک کلاستر Hadoop با هفده گره مجازی تست شده است. نتایج تست در شبکه های با بارترافیکی بالا/ پایین حاکی از بهبود زمان گردش کار در هر دو حالت است.

نویسندگان

سمیرا الهامی مقدم

تهران، دانشگاه الزهرا، آزمایشگاه OSSL

رضا عزمی

تهران، دانشگاه الزهرا، آزمایشگاه OSSL

مهران شرقی

تهران، دانشگاه الزهرا