ارائه روشی جهت بهینه سازی عملکرد هدوپ با استفاده از الگوریتم ژنتیک

بسیاری از سازمانها به طور مداوم جمع آوری مقادیر زیادی از مجموعه داده ها را از منابع مختلف از جمله شبکه جهانی وب، شبکه های حسگر و شبکه های اجتماعی جمع آوری می کنند. توانایی انجام تجزیه و تحلیل مقیاس پذیر و به موقع در این مجموعه داده های بدون ساختار، اولویت بسیار زیادی برای بسیاری از شرکت ها است. برای سیستم های پایگاه داده سنتی، این مجموعه داده ها را به صورت روزافزونی پردازش می کند. هدوپ به یک تکنیک محاسباتی عمده برای حمایت از تجزیه و تحلیل داده های بزرگ تبدیل شده است. یک هدوپ، چارچوب نرم افزاری متن باز است که با استفاده ازسیستم فایل توزیع شده پردازش موازی داده ها را روی تعداد زیادی گره موجود دریک خوشه جهت سرعت بخشیدن به محاسبات بزرگ و داده های کلان و نیز پنهان سازی تاخیر ورودی با افزایش تعداد ورودی همزمان انجام می دهد. سیستم فایل توزیع شده هدوپ، بصورت ارزان و قابل اعتمادی برای تکرار تکه های داده دریک خوشه بکارگرفته می شود و داده ها بصورت محلی روی ماشینی که عمل پردازش را انجام می دهد قابل دسترسی می باشند. به دلیل اینکه در بحث مربوط به کلان داده نیاز به رویکردهای قدرتمند پردازشی است تا در کسری از ثانیه اطلاعات انبوهی پردازش شوند، رویکردهای مختلفی مانند هدوپ شناخته شده که نیاز است تا بهینه شوند. با توجه به اینکه در پژوهش های گذشته تنها پارامترهای محدودی در این زمینه در نظر گرفته شده است. در این پژوهش به بررسی و آنالیز پارامترهای متعددی که زمان پیاده سازی را کاهش داده و عملکرد هدوپ را بهبود می بخشد پرداخته می شود. همچنین روش پیشنهادی با دیگر روش ها مقایسه شده و نتایج آن از لحاظ کارائی بررسی می شود.

کلیدواژه ها:

کلان داده ، رایانش ابری ، سیستم فایل توزیع شده ، هدوپ.