تخصیص پویای منابع در شبکه های ۵G مبتنی بر مدل تصمیم گیری مارکوف (MDP) با استفاده از الگوریتم Double Deep Q-Network و ارزیابی در محیط شبیه سازی NS-۳

در شبکه های ۵G، تخصیص پویای منابع رادیویی به دلیل تغییرات سریع کیفیت کانال، تحرک کاربران و الزامات سخت گیرانه کیفیت سرویس (QoS)، به یک مساله تصمیم گیری پیچیده و زمان مند تبدیل شده است. روش های کلاسیک زمان بندی و بهینه سازی، در محیط های پویا با ابعاد حالت بزرگ دچار افت کارایی یا هزینه محاسباتی بالا می شوند. در این پژوهش، مساله تخصیص منابع در لایه دسترسی رادیویی به صورت یک فرآیند تصمیم گیری مارکوف (MDP) مدل سازی شده و یک چارچوب یادگیری تقویتی عمیق مبتنی بر الگوریتم Double Deep Q-Network (DDQN) برای کاهش خطای بیش برآورد مقدار عمل ارائه می گردد. در مدل پیشنهادی، حالت ها شامل شاخص های کیفیت لینک/تداخل، بار ترافیکی و وضعیت منابع بوده و اعمال به صورت سیاست تخصیص بلوک های منبع تعریف می شوند. تابع پاداش ترکیبی از بهره وری طیفی، نرخ داده و قیود QoS با جریمه نقض محدودیت ها است. ارزیابی عملکرد با اتصال محیط یادگیری به شبیه ساز NS-۳ از طریق چارچوب ns۳-gym انجام شده است. نتایج نشان می دهد روش DDQN نسبت به DQN و خط مشی های کلاسیک، همگرایی پایدارتر و بهبود معنادار در بهره وری و رعایت QoS ارائه می دهد.

کلیدواژه ها:

تخصیص منابع ، شبکه ۵G ، تصمیم گیری مارکوف ، Double DQN ، NS-۳