یک روش مبتنی بر انتخاب ویژگی با الگوریتم بهینه سازی پروانه به منظور پیش بینی زمان اجرای Job های مبتنی بر نگاشت-کاهش
محل انتشار: هفتمین کنفرانس بین المللی وب پژوهی
سال انتشار: 1400
نوع سند: مقاله کنفرانسی
زبان: فارسی
مشاهده: 376
فایل این مقاله در 12 صفحه با فرمت PDF قابل دریافت می باشد
- صدور گواهی نمایه سازی
- من نویسنده این مقاله هستم
این مقاله در بخشهای موضوعی زیر دسته بندی شده است:
استخراج به نرم افزارهای پژوهشی:
شناسه ملی سند علمی:
IRANWEB07_016
تاریخ نمایه سازی: 7 تیر 1400
چکیده مقاله:
یکی از بسترهای مهم برای پردازش کلان داده استفاده از معماری هدوپ است که میتوان با استفاده از عملیات نگاشت-کاهش، داده های بزرگ را در زمان واقعی مورد پردازش قرار داد. یکی از چالشهای مهم پردازش کلان داده در هدوپ زمان بندی دقیق jobهایی است که در این بستر اجراء میشوند و نیاز است که قبل از اجرای jobها زمان اجرای آن را پیش بینی نمود تا به درستی و به صورت بهینه زمانبندی شوند. در این مقاله برای تخمین زمان اجرای دقیق jobها از الگوریتم بهینه سازی پروانه برای انتخاب ویژگی های مهم jobها و از شبکه عصبی مصنوعی برای یادگیری استفاده شده است. تجزیه و تحلیل ها نشان می دهد که این الگوریتم، از الگوریتم بهینه سازی ذرات، الگوریتم بهینه سازی کفتار و الگوریتم کرم شبتاب خطای کمتری دارد. آزمایشات نشان میدهد مقدار تابع هدف انتخاب ویژگی، در روش پیشنهادی بر حسب تکرار، یک روند نزولی و کاهشی است. به منظور پیش بینی زمان اجرای jobها، افزایش جمعیت اولیه در این روش، متوسط مجذور خطا را در حدود %۲۵.۸۵ کاهش میدهد. مقایسه روش پیشنهادی با روشهای دیگر نشان میدهد خطای تخمین زمان اجرا در روش پیشنهادی از شبکه عصبی چند لایه، شبکه عصبی بازگشتی، درخت تصمیم گیری و جنگل تصادفی کمتر است.
کلیدواژه ها:
نویسندگان
هادی ملانوری
گروه مهندسی کامپیوتر، واحد یزد، دانشگاه آزاد اسلامی، یزد، ایران،
ابوالفضل گندمی
گروه مهندسی کامپیوتر، واحد یزد، دانشگاه آزاد اسلامی، یزد، ایران،