زمان بندی وظایف در چارچوب هدوپ با خوشه بندی گره های محاسباتی ناهمگن

نگاشت کاهش یک مدل برنامه نویسی بسیار موفق در پیاده سازی پردازش های کلان داده است. هدوپ نیز چارچوبی است که با استفاده از آن می توان نگاشت کاهش را پیاده سازی نمود. اساس هدوپ بر دو اصل استوار است: سیستم فایل توزیع شده هدوپ HDFS و ساختار نگاشت کاهش. هدوپ با بهره گیری از این دو امکان پردازش موازی روی کلان داده ها را روی هزاران ماشین همگن یا ناهمگن با تحمل پذیری خطای بالا فراهم می نماید. مهم ترین چالشی که سیستم های توزیع شده با آن مواجه هستند موضوع تخصیص منابع در محیط هایناهمگن است. توازن بار و زمان اجرا از جمله پارامترهایی هستند که در تخصیص منابع اهمیت بسزایی دارند. از این رو زمانبند جریان کار را در چارچوب هدوپ WSH معرفی می کنیم که ناهمگن بودن گره ها را در طول زمانبندی برای کارهای حساس به محاسبه و حساس به ورودی خروجی مدنظر قرار می دهد. WSH از وظیفه ی یادگیر برای جمع آوری اطلاعات قبل از توزیع کارها استفاده می کند. نتایج پیاده سازی نشان می دهد که انتساب کارها و توازن بار در هدوپ بصورت موثر انجام می شود و زمان اتمام کل جریان کار کاهش می یابد.

کلیدواژه ها:

هدوپ ، جریان کار ، کلان داده