روشی نوین برای بهبود کارایی MapReduce با استفاده از ترکیب کننده تطبیقی
محل انتشار: همایش داده های عظیم
سال انتشار: 1393
نوع سند: مقاله کنفرانسی
زبان: فارسی
مشاهده: 497
فایل این مقاله در 5 صفحه با فرمت PDF قابل دریافت می باشد
- صدور گواهی نمایه سازی
- من نویسنده این مقاله هستم
استخراج به نرم افزارهای پژوهشی:
شناسه ملی سند علمی:
BIGDATA01_017
تاریخ نمایه سازی: 26 مرداد 1397
چکیده مقاله:
در سال های اخیر، نرخ رشد داده ها افزایش چشم گیری داشته است. بر این اساس به چارچوبی قدرتمند برای پردازش وتجزیه و تحلیل داده های عظیم نیاز داریم. MapReduce چارچوبی مناسب برای حل این مشکل است. این چارچوب پیچیدگی های برنامه نویسی موازی همانند توزیع داده ها، زمانبندی و خرابی گره را برطرف می کند. در این چارچوب، کاربرد توابع MapReduce را تعریف می نماید. تابع Map با استفاده از جفت کلید/ مقدار ورودی، جفت کلید/ مقدار میانی را محاسبه می نماید. سپس تابع Reduce جفت های کلید/ مقدار با کلید مبانی یکسان را با هم ادغام می کند. در این مقاله روشی نوین برای بهبود کارایی فرایند MapReduce ارایه داده ایم که از یک ترکیب کننده تطبیقی استفاده می کند و بر مبنای میزان ترافیک شبکه فعال می شود. روش پیشنهادی بر روی یک کلاستر Hadoop با هفده گره مجازی تست شده است. نتایج تست در شبکه های با بارترافیکی بالا/ پایین حاکی از بهبود زمان گردش کار در هر دو حالت است.
کلیدواژه ها:
نویسندگان
سمیرا الهامی مقدم
تهران، دانشگاه الزهرا، آزمایشگاه OSSL
رضا عزمی
تهران، دانشگاه الزهرا، آزمایشگاه OSSL
مهران شرقی
تهران، دانشگاه الزهرا