بررسی روش های بهینه کردن میزان سازی پیکربندی چارچوب های تحلیل کلان داده

امروزه با افزایش روزافزون حجم اطلاعات و داده ها در بستر وب، چارچوب های تحلیل داده های کلان مختلفی مانند هادوپ و اسپارک پدید آمده است. برای استفاده مناسب و عملکرد بهینه این چارچوب ها، پیکربندی آنها نقش بسیار مهمی را ایفا می کنند انتخاب پیکربندی مناسب برای چارچوب هایی مانند اسپارک و هادوپ برای اطمینان از اجرای موثر دستته یا جریانی از کارهای دشوار است. و تصمیم گیری در مورد این که کدام تنظیمات پیکربندی منجر به بهترین عملکرد می شود، کار بسیار پر هزینه ای است.، زیرا فضای پیکربندی عظیمی برای کشف وجود دارد که از پارامترهای متعدد مربوط به عملکرد در ابعاد مختلف تشکیل شده است. شناسایی ترکیبی از تنظیماتی که ممکن است. عملکرد یک برنامه خاص را بهبود بخشد، امری غیر بدیهی است.، زیرا تاثیر هر تنظیم بر عملکرد ممکن است. در بین برنامه ها متفاوت باشد در این مقاله سعی شده که روش ها و سبک های متفاوتی برای بهینه کردن تنظیمات پیکربندی چارچوب های تحلیل داده ارائه شده، بررسی شود این روش ها با بهره گیری از الگوریتم هایی مانند الگوریتم ژنتیک، الگوریتم بهینه سازی ازدحام ذرات، الگوریتم بهینه سازی چندمنظوره، H-Tune ، BestConfig و متدهای تنظیم خودکار پیکربندی، به سمت بهتر و بهینه بودن پیکربندی ها حرکت کرده اند

کلیدواژه ها:

اسپارک ، بهینه سازی ، تنظیم پیکربندی ، میزان سازی ، هادوپ