بررسی روشهای بهینه سازی تنظیم پیکربندی پلتفرمهای تحلیل داده های حجیم
- سال انتشار: 1401
- محل انتشار: اولین کنفرانس ملی پژوهش های نوآورانه در مهندسی برق و کامپیوتر
- کد COI اختصاصی: IRECE01_033
- زبان مقاله: فارسی
- تعداد مشاهده: 176
نویسندگان
گروه مهندسی کامپیوتر، واحد همدان، دانشگاه آزاد اسلامی، همدان، ایران
گروه مهندسی کامپیوتر، واحد همدان، دانشگاه آزاد اسلامی، همدان، ایران
چکیده
امروزه با افزایش روزافزون حجم اطلاعات و داده ها در بستر وب، چارچوبهای تحلیل داده های حجیم مختلفی مانند هادوپ واسپارک پدیدآمده است. برای استفاده مناسب و عملکرد بهینه این چارچوبها، پیکربندی آنها نقش بسیار مهمی را ایفا میکنند. انتخاب پیکربندی مناسب برای چارچوبهایی مانند اسپارک و هادوپ برای اطمینان از اجرای موثر دسته یا جریانی از کارهای دشوار است و تصمیم گیری در مورد این که کدام تنظیمات پیکربندی منجر به بهترین عملکرد میشود، کار بسیار پر هزینهای است، زیرا فضای پیکربندی عظیمی برای کشف وجود دارد که از پارامترهای متعدد مربوط به عملکرد در ابعاد مختلف تشکیل شده است. شناسایی ترکیبی از تنظیماتی که ممکن است عملکرد یک برنامه خاص را بهبود بخشد، امری غیر بدیهی است، زیرا تاثیر هر تنظیم بر عملکرد ممکن است در بین برنامه ها متفاوت باشد. در این مقاله سعی شده که روشها و سبکهای متفاوتی برای بهینه کردن تنظیمات پیکربندی چارچوبهای تحلیل داده ارائه شده، بررسی شود. این روشها با بهرهگیری از الگوریتمهایی مانند الگوریتم ژنتیک، الگوریتم بهینه سازی ازدحام ذرات، الگوریتم بهینه سازی چندمنظوره، H-Tune ، BestConfig و متدهای تنظیم خودکار پیکربندی، بهسمت بهتر و بهینه بودن پیکربندیها حرکت کرده اند.کلیدواژه ها
اسپارک، بهینه سازی پیکربندی، تنظیم پیکربندی.مقالات مرتبط جدید
- Developing and Improved the Intelligent Search of Sequence of Patterns Using Fuzzy ontology and Semantic Similarities Approach
- بررسی نرخ خرابی و زمان بازیابی شبکه توزیع فشار متوسط برای استفاده در مطالعات قابلیت اطمینان (مورد مطالعه: شرکت توزیع برق گیلان)
- افزایش پهنای باند آنتن مبتنی بر موجبر مجتمع زیرلایه با شکاف پاپیونی
- توسعه بهینه برق خورشیدی با تعیین مکان و تعداد بهینه آنها در شبکه های توزیع
- طراحی و شبیه سازی یک مبدل کد BCD به کد افزونی-۳ در آتوماتای کوانتومی سلولی نقطه ای با استفاده از روش کاشی ۳ در ۳
اطلاعات بیشتر در مورد COI
COI مخفف عبارت CIVILICA Object Identifier به معنی شناسه سیویلیکا برای اسناد است. COI کدی است که مطابق محل انتشار، به مقالات کنفرانسها و ژورنالهای داخل کشور به هنگام نمایه سازی بر روی پایگاه استنادی سیویلیکا اختصاص می یابد.
کد COI به مفهوم کد ملی اسناد نمایه شده در سیویلیکا است و کدی یکتا و ثابت است و به همین دلیل همواره قابلیت استناد و پیگیری دارد.