مقایسه روش های قطعی با رویکرد Q-Learning در مسئله کلاسیک حمل و نقل

مسئله حمل ونقل یکی از مسائل بنیادین در تحقیق در عملیات و مدیریت زنجیره تامین است که هدف آن تخصیص بهینه کالا از مراکز عرضه به مراکز تقاضا با حداقل هزینه حمل ونقل می باشد. اگرچه روش های کلاسیک برنامه ریزی خطی قادر به ارائه جواب بهینه هستند، اما در محیط های پویا و همراه با عدم قطعیت، با محدودیت هایی مواجه اند. در این پژوهش، مسئله حمل ونقل در قالب یک فرآیند تصمیم گیری مارکوف مدل سازی شده و الگوریتم Q-Learning برای یادگیری سیاست تخصیص بهینه به کار گرفته شده است. همچنین، اثر نرمال سازی Min-Max بر عملکرد الگوریتم و حساسیت آن نسبت به پارامترهای نرخ یادگیری و ضریب تخفیف مورد بررسی قرار گرفته است. نتایج آزمایش های عددی و مقایسه با جواب های بهینه برنامه ریزی خطی نشان می دهد که Q-Learning در مسائل با ابعاد کوچک و متوسط، حتی بدون پیش پردازش خاص، قادر به یافتن سیاستی نزدیک به بهینه است. نرمال سازی اگرچه تاثیر معناداری بر دقت نهایی پاسخ در ابعاد کوچک ندارد، اما موجب پایداری بیشتر فرایند یادگیری، کاهش نوسانات پاداش و تسریع همگرایی می شود. با این حال، عملکرد الگوریتم به شدت به مقیاس و ساختار داده ها وابسته است و نرمال سازی به تنهایی نمی تواند خطا را به صفر برساند. در داده های با مقیاس بزرگ تر و ساختار منظم تر، نرمال سازی موجب کاهش چشمگیر خطا و بهبود همگرایی شده و حل مسئله را بدون نیاز به توان پردازشی بسیار بالا، عملی تر می سازد. به طور کلی، نرمال سازی به عنوان تکنیکی موثر در مسائل کوچک و متوسط توصیه شده و برای ابعاد بزرگ تر، باید همراه با تنظیم دقیق پارامترها و افزایش تعداد اپیزودها به کار گرفته شود. نتایج تحلیل حساسیت نیز نشان داد که پارامترهای نرخ یادگیری و ضریب تخفیف تاثیر مستقیمی بر کیفیت سیاست یادگرفته شده دارند، اما اثر محسوسی بر زمان اجرا نمی گذارند. مقادیر کوچک تر نرخ یادگیری و ضریب تخفیف پایین تر، پاسخ هایی نزدیک تر به جواب بهینه تولید کرده اند. یافته ها حاکی از آن است که یادگیری تقویتی می تواند به عنوان رویکردی مکمل و انعطاف پذیر در حل مسائل حمل ونقل و تصمیم گیری های لجستیکی مورد استفاده قرار گیرد.