بهینه سازی زمانبندی وظایف در محیط های رایانش ابری با استفاده از الگوریتم های یادگیری تقویتی عمیق مدلی مبتنی بر DQN و Double-DQN برای تخصیص منابع پویا

در این پژوهش چارچوبی هوشمند و پویا برای بهینه سازی زمان بندی وظایف در محیط های رایانش ابری مبتنی بر یادگیری تقویتی عمیق ارائه شده است. مدل پیشنهادی با ترکیب دو معماری شبکه Q یادگیر عمیق (DQN) و Double-DQN طراحی گردیده تا با یادگیری از تعامل مستمر با محیط تخصیص منابع را به صورت خودکار و بهینه انجام دهد. هدف اصلی، کاهش زمان اجرای وظایف، افزایش بهره وری منابع، کاهش مصرف انرژی و حفظ سطح کیفیت خدمات (SLA) در شرایط بارکاری پویا است. در این مدل مسئله زمان بندی به صورت مسئله تصمیم گیری مارکوف (MDP) تعریف شده که در آن حالت ها شامل وضعیت منابع، بار وظایف و پارامترهای مصرف انرژی هستند. تابع پاداش به گونه ای طراحی شده است که هم زمان سه هدف اصلی را دنبال کند: حداقل سازی زمان اجرا، کاهش مصرف انرژی و جلوگیری از نقض SLA. برای آموزش کارآمدتر، عامل از مکانیزم تجربه بازپخش اولویت دار استفاده شده است. ارزیابی عملکرد مدل در بستر CloudSim ۳.۰ و با استفاده از داده های واقعی Google Cluster Trace نشان داد که الگوریتم پیشنهادی در مقایسه با روش های مرجع مانند ACO، GA، PSO، DON و Min-Min عملکرد بهتری دارد. نتایج شبیه سازی ها حاکی از کاهش میانگین ۱۵ درصدی در زمان تکمیل وظایف، افزایش ۷ درصدی در بهره وری منابع و کاهش ۱۰ درصدی در مصرف انرژی است. همچنین نرخ نقض SLA تا ۴۰ درصد کمتر از روش های کلاسیک گزارش شده است. در مجموع یافته ها نشان می دهد که استفاده از مدل DQN-Double-DQN رویکردی موثر و قابل اعتماد برای مدیریت پویا و هوشمند منابع در محیط های ابری است و می تواند مبنایی برای توسعه سیستم های خودتطبیق و یادگیرنده در نسل آینده رایانش ابری باشد.

کلیدواژه ها:

یادگیری تقویتی عمیق ، Double-DQN ، DQN ، زمان بندی وظایف ، رایانش ابری