چارچوب خودتنظیم یادگیری تقویتی برای زمان بندی میکروسرویس ها در لبه محاسباتی با هدف کاربرد در مدارس هوشمند

در عصر محاسبات لبه، مدارس هوشمند به عنوان محیط هایی با نیازهای پردازشی بلادرنگ مطرح هستند. پردازش همزمان داده های حسگرها و ارائه خدمات تعاملی آموزشی مستلزم زمان بندی بهینه میکروسرویس هاست. تغییرپذیری منابع و ناپایداری شبکه در لبه برنامه ریزی ایستا را ناکارآمد می کند. یادگیری تقویتی به خاطر قابلیت سازگاری با شرایط پویا محیط گزینه ای مناسب محسوب می شود. با این حال، تنظیم خودکار پارامترهای این الگوریتم برای حفظ کارایی پایدار همچنان چالش برانگیز است.در این مقاله چارچوب خودتنظیم یادگیری تقویتی دو سطحی برای زمان بندی میکروسرویس ها در لبه ارائه شده است. سطح نخست، با الگوریتم Q-Learning تخصیص اولیه وظایف را بر پایه معیارهای تاخیر و بار شبکه انجام می دهد. سطح دوم (متاکنترلر) با نظارت بر بازخورد عملکرد، نرخ یادگیری و نسبت جست وجو–بهره برداری را به صورت پویا تنظیم می کند. تابع پاداش ترکیبی از تاخیر انتها به انتها، نوسان بار و مصرف انرژی بهینه را هدف قرار داده است. این مکانیزم خودتنظیم باعث انعطاف پذیری و پایداری چارچوب در مواجهه با تغییرات شدید بار کاری می شود.ارزیابی چارچوب در محیط شبیه سازی شده مدارس هوشمند با سناریوهای متنوع بار کاری نشان می دهد که در مقایسه با روش های ایستا و یادگیری تقویتی کلاسیک، تاخیر سرویس تا ۲۵ درصد کاهش و مصرف انرژی تا ۱۸ درصد بهبود یافته است. معیارهای قابلیت اطمینان و تحمل ناپایداری شبکه نیز ارتقاء قابل توجهی را نشان می دهند. تحلیل حساسیت پارامترهای متاکنترلر تایید می کند که تنظیم خودکار نرخ یادگیری منجر به همگرایی سریع تر می شود. این چارچوب راهکاری عملی برای زمان بندی هوشمند میکروسرویس ها در مدارس هوشمند بر پایه محاسبات لبه فراهم می آورد.

کلیدواژه ها:

محاسبات لبه ، یادگیری تقویتی خودتنظیم ، زمان بندی میکروسرویس ، مدارس هوشمند