بررسی چند روشزمان بندی در مدل برنامه نویسی موازی Hadoop MapReduce و چالشهای آن در زمینه محلیت و عملکرد بهتر

سال انتشار: 1392
نوع سند: مقاله کنفرانسی
زبان: فارسی
مشاهده: 1,643

فایل این مقاله در 8 صفحه با فرمت PDF قابل دریافت می باشد

استخراج به نرم افزارهای پژوهشی:

لینک ثابت به این مقاله:

شناسه ملی سند علمی:

ELECOM01_098

تاریخ نمایه سازی: 9 تیر 1393

چکیده مقاله:

یک نمونه در حال ظهور برای پردازش داده های فشرده MapReduce است که فن آوری محاسبات ابری را نیز پشتیبانی میکند. انواع برنامه های کاربردی از جمله تجزیه و تحلیل علمی، پردازش دادهها وب و محاسبات با کارایی بالا MapReduce را قبول کردند. پس نیاز به برنامه ریزی کارآمد در یککلاستر مشترک بسیار حس میشود و در این میان زمان بندهای مختلفی ارائه شده است که هر یک جنبههایی از مسائل مربوط به برنامه ریزی را در نظر میگیرند. این جنبهها معمولاً مربوط به مسئله محلیت است، می توان گفت که محلیت در دو فاز reduce و map باید در نظر گرفته شود و از بین بردن سربار هماهنگ سازی بین این دو فاز نیز به این امر کمک میکند. برای از بین بردن سربار هماهنگ سازی نیز روشهایی وجود دارد که در این مقاله به آن پرداخته شده است. یکی از این جنبه ها برای غلبه بر همگام سازی، مربوط به انتخاب و اجرای task های آهسته است. در انتها با توجه به رعایت محلیت در فاز map و عدم اجرای Speculative های اضافی، راه حلی برای افزایش کارایی و ایجاد توازن در نودها بررسی شده است.

کلیدواژه ها:

توزیعشدگی ، بهبود عملکرد ، همگام سازی ، زمان بندی ، محلیت task های آهسته MapReduce ، Hadoop

نویسندگان

سعیده زارعی

دانشجوی کارشناسی ارشد، دانشگاه غیرانتفاعی علم و فرهنگ تهران

زهره باطنی

استادیار، دانشگاه غیرانتفاعی علم و فرهنگ تهران

مراجع و منابع این مقاله:

لیست زیر مراجع و منابع استفاده شده در این مقاله را نمایش می دهد. این مراجع به صورت کاملا ماشینی و بر اساس هوش مصنوعی استخراج شده اند و لذا ممکن است دارای اشکالاتی باشند که به مرور زمان دقت استخراج این محتوا افزایش می یابد. مراجعی که مقالات مربوط به آنها در سیویلیکا نمایه شده و پیدا شده اند، به خود مقاله لینک شده اند :
  • . Seilfaldet, J., Performance Analysis of Job-scheduling in Multi-User Hadoop ...
  • . Dean, J. and S. Ghemawat, MapReduce: simplified data processing ...
  • . Thirumala Rao, B. and L. Reddy, Survey on Improved ...
  • . Yoo, D. and K.M. Sim. A comparative review of ...
  • . Elteir, M., H. Lin, and W.-c. Feng. Enhancing mapreduce ...
  • . Sun, X., An Enhanced Self-adaptive Mapreduce Scheduling Algorithm, 2012, ...
  • . Sun, X., C. He, and Y. Lu. ESAMR: An ...
  • . Chen, Q., et al. Samr: A self-adaptive mapreduce scheduling ...
  • . Tao, Y., et al. Job Scheduling Optimization for Multi-user ...
  • . He, C., Y. Lu, and D. Swanson. Matchmaking: A ...
  • Technology and Science (CloudCom), 2011 IEEE Third Internationt Conference on. ...
  • . Zhang, X., et al. A two-phase execution engine of ...
  • . Ibrahim, S., et al. Maestro: Replica-aware map scheduling for ...
  • نمایش کامل مراجع