یک روش مبتنی بر انتخاب ویژگی با الگوریتم بهینه سازی پروانه به منظور پیش بینی زمان اجرای Job های مبتنی بر نگاشت-کاهش

سال انتشار: 1400
نوع سند: مقاله کنفرانسی
زبان: فارسی
مشاهده: 376

فایل این مقاله در 12 صفحه با فرمت PDF قابل دریافت می باشد

این مقاله در بخشهای موضوعی زیر دسته بندی شده است:

استخراج به نرم افزارهای پژوهشی:

لینک ثابت به این مقاله:

شناسه ملی سند علمی:

IRANWEB07_016

تاریخ نمایه سازی: 7 تیر 1400

چکیده مقاله:

یکی از بسترهای مهم برای پردازش کلان داده استفاده از معماری هدوپ است که میتوان با استفاده از عملیات نگاشت-کاهش، داده های بزرگ را در زمان واقعی مورد پردازش قرار داد. یکی از چالشهای مهم پردازش کلان داده در هدوپ زمان بندی دقیق jobهایی است که در این بستر اجراء میشوند و نیاز است که قبل از اجرای jobها زمان اجرای آن را پیش بینی نمود تا به درستی و به صورت بهینه زمانبندی شوند. در این مقاله برای تخمین زمان اجرای دقیق jobها از الگوریتم بهینه سازی پروانه برای انتخاب ویژگی های مهم jobها و از شبکه عصبی مصنوعی برای یادگیری استفاده شده است. تجزیه و تحلیل ها نشان می دهد که این الگوریتم، از الگوریتم بهینه سازی ذرات، الگوریتم بهینه سازی کفتار و الگوریتم کرم شبتاب خطای کمتری دارد. آزمایشات نشان میدهد مقدار تابع هدف انتخاب ویژگی، در روش پیشنهادی بر حسب تکرار، یک روند نزولی و کاهشی است. به منظور پیش بینی زمان اجرای jobها، افزایش جمعیت اولیه در این روش، متوسط مجذور خطا را در حدود %۲۵.۸۵ کاهش میدهد. مقایسه روش پیشنهادی با روشهای دیگر نشان میدهد خطای تخمین زمان اجرا در روش پیشنهادی از شبکه عصبی چند لایه، شبکه عصبی بازگشتی، درخت تصمیم گیری و جنگل تصادفی کمتر است.

کلیدواژه ها:

نگاشت - کاهش ، الگوریتم بهینه سازی پروانه ، شبکه عصبی ، زمان اجرای job

نویسندگان

هادی ملانوری

گروه مهندسی کامپیوتر، واحد یزد، دانشگاه آزاد اسلامی، یزد، ایران،

ابوالفضل گندمی

گروه مهندسی کامپیوتر، واحد یزد، دانشگاه آزاد اسلامی، یزد، ایران،