تخصیص منصفانه منابع در لینک بازگشتی شبکه های ماهواره ای GEO مبتنی بر VSAT با استفاده از یادگیری تقویتی چندعاملی WoLF-PHC

مدیریت منابع رادیویی در ساختار دسترسی چندگانه تقسیم زمانی–فرکانسی (Multi‑Frequency Time Division Multiple Access – MF‑TDMA) شبکه های ماهواره ای مدار زمین آهنگ (GEO)، به ویژه در لینک بازگشتی که ترمینال های با روزنه بسیار کوچک (VSAT) متعدد برای دسترسی به پهنای باند محدود رقابت می کنند، یکی از چالش های اساسی مخابرات ماهواره ای به شمار می رود. در معماری های استانداردی مانند پخش ویدئوی دیجیتال – کانال بازگشتی از طریق ماهواره (نسل دوم) (DVB RCS۲)، تخصیص منابع به صورت متمرکز در مرکز کنترل شبکه (NCC) انجام می شود که در مواجهه با ترافیک ناهمگن، تعداد بالای کاربران و تاخیر انتشار زیاد، با مشکلاتی نظیر سربار محاسباتی، اطلاعات منقضی شده و کاهش عدالت همراه است. هدف این پژوهش، ارائه یک چارچوب توزیع شده و هوشمند برای بهبود عدالت و پایداری تخصیص منابع در لینک بازگشتی شبکه های GEO است. بدین منظور، مسئله تخصیص منابع به صورت یک بازی تصادفی چندعاملی مدل سازی شده و از یادگیری تقویتی چندعاملی (MARL) مبتنی بر الگوریتم «سریع یاد بگیر هنگام باخت، آهسته یاد بگیر هنگام برد» همراه با صعود از تپه (WoLF PHC) استفاده شده است. در مدل پیشنهادی، هر ترمینال VSAT به عنوان یک عامل یادگیرنده مستقل، با اتکا به وضعیت صف داخلی خود و بدون نیاز به تبادل مستقیم اطلاعات با سایر ترمینال ها، استراتژی درخواست منابع را به صورت یک سیاست آمیخته تطبیق می دهد. ارزیابی عملکرد روش پیشنهادی از طریق شبیه سازی در یک سناریوی واقع گرایانه شامل تعداد بالای ترمینال ها و وقوع شوک ترافیکی ناگهانی انجام شده است. نتایج نشان می دهد که الگوریتم WoLF PHC در مقایسه با روش های تخصیص ایستا و یادگیری تقویتی مستقل، ضمن حفظ کارایی سیستم، همگرایی پایدارتر، نوسانات کمتر در تخصیص منابع، کاهش محسوس سرریز بافر و بهبود معنادار شاخص عدالت را فراهم می کند. در مجموع، یافته ها حاکی از آن است که تمرکززدایی تصمیم گیری و به کارگیری یادگیری تقویتی چندعاملی می تواند راهکاری کارآمد برای مدیریت منابع در شبکه های ماهواره ای با تاخیر بالا باشد.

کلیدواژه ها:

تخصیص منابع ، شبکه های ماهواره ای GEO ، لینک بازگشتی MF‑TDMA ، یادگیری تقویتی چندعاملی MARL ، الگوریتم WoLF‑PHC