بررسی و تفصیل طرح نگاشت و کاهش در پردازش موازی دادههای انبوه

از Map Reduceابزار های معروف پردازش داده به صورت موازی است که مراکز صنعتی و دانشگاهی را به خود جذب نموده است ودر جهت تجزیه و تحلیل، به صورت روز افزون در حال رشد است. معمولاً در محاسبات انبوهMR اولین شاخص است. با آنکه سالهاست که از MR استفاده می شود ولی کارآیی و انتزاع جریان آن، عامل تحقیقات است MR یک طرح و مدل برنامه نویسی موازی کارآمد گوگل است که بعدها، همتای متن باز آن یعنی هادوپ را پیادهسازی کردند. دو تابع مهم برنامه Reduce و Map محاسبات را مطرح کرده و کتابخانه MR به صورت خودکار موازی سازی محاسبات را اجرا و مسائل پیچیده توزیع دادههای انبوه و توازن بار و تحمل خطا را مدیریت می کند. هدف از پیاده سازی اولیه براساس این مدل برنامه نویسی، انجام محاسبات موازی روی کلاسترهای ماشینهای توزیع شده بود که به سمت پیاده سازیهای دیگری مانند Mars با قابلیت اجرا روی پردازندههای گرافیکی و Phoenix با قابلیت حافظه مشترک روی مدل برنامه نویسی MR سوق داده شد

کلیدواژه ها:

پردازش موازی ، نگاشت و کاهش ، برنامه نویسی موازی ، هادوپ