بررسی روش های بهینه کردن میزان سازی پیکربندی چارچوب های تحلیل کلان داده

سال انتشار: 1401
محل انتشار: هفتمین کنفرانس ملی و اولین کنفرانس بین المللی محاسبات توزیعی و پردازش داده های بزرگ
کد COI اختصاصی: DCBDP07_033
زبان مقاله: فارسی
تعداد مشاهده: 158

نویسندگان

گروه مهندسی کامپیوتر، واحد همدان، دانشگاه آزاد اسلامی، همدان،

چکیده

امروزه با افزایش روزافزون حجم اطلاعات و داده ها در بستر وب، چارچوب های تحلیل داده های کلان مختلفی مانند هادوپ و اسپارک پدید آمده است. برای استفاده مناسب و عملکرد بهینه این چارچوب ها، پیکربندی آنها نقش بسیار مهمی را ایفا می کنند انتخاب پیکربندی مناسب برای چارچوب هایی مانند اسپارک و هادوپ برای اطمینان از اجرای موثر دستته یا جریانی از کارهای دشوار است. و تصمیم گیری در مورد این که کدام تنظیمات پیکربندی منجر به بهترین عملکرد می شود، کار بسیار پر هزینه ای است.، زیرا فضای پیکربندی عظیمی برای کشف وجود دارد که از پارامترهای متعدد مربوط به عملکرد در ابعاد مختلف تشکیل شده است. شناسایی ترکیبی از تنظیماتی که ممکن است. عملکرد یک برنامه خاص را بهبود بخشد، امری غیر بدیهی است.، زیرا تاثیر هر تنظیم بر عملکرد ممکن است. در بین برنامه ها متفاوت باشد در این مقاله سعی شده که روش ها و سبک های متفاوتی برای بهینه کردن تنظیمات پیکربندی چارچوب های تحلیل داده ارائه شده، بررسی شود این روش ها با بهره گیری از الگوریتم هایی مانند الگوریتم ژنتیک، الگوریتم بهینه سازی ازدحام ذرات، الگوریتم بهینه سازی چندمنظوره، H-Tune ، BestConfig و متدهای تنظیم خودکار پیکربندی، به سمت بهتر و بهینه بودن پیکربندی ها حرکت کرده اند

کلیدواژه ها

اسپارک، بهینه سازی، تنظیم پیکربندی، میزان سازی، هادوپ

مقالات مرتبط جدید

اطلاعات بیشتر در مورد COI

COI مخفف عبارت CIVILICA Object Identifier به معنی شناسه سیویلیکا برای اسناد است. COI کدی است که مطابق محل انتشار، به مقالات کنفرانسها و ژورنالهای داخل کشور به هنگام نمایه سازی بر روی پایگاه استنادی سیویلیکا اختصاص می یابد.

کد COI به مفهوم کد ملی اسناد نمایه شده در سیویلیکا است و کدی یکتا و ثابت است و به همین دلیل همواره قابلیت استناد و پیگیری دارد.