ارزیابی کارایی عامل هوشمند در بازی پینگ پنگ با استفاده از الگوریتم های Q-Learning و DQN

سنجش و ارزیابی شایستگی عملیاتی کنش گران هوشمند در بسترهای پویا، از محورهای کلیدی پلتفرم های نوین در مهندسی نرم افزار و سامانه های هوش محور به شمار می رود؛ چرا که این ساختارهای خودگردان ملزم هستند در شرایط نوسانی، از مجرای تجربه اندوزی، واکاوی خطاهای رفتاری و پردازش سیگنال های تقویت، خط مشی محاسباتی خود را اصلاح کنند. شبیه ساز Pong علی رغم پیکربندی به ظاهر ساده هندسی، اتمسفری پرابعاد، دیداری، توالی محور و پیوسته به زمان پدید می آورد که در آن سیستم باید مختصات توپ، ترابری راکت، زمان بندی پاسخ و پیامدهای دیرکرددار تصمیمات گذشته را به طور هم زمان مدیریت کند. هدف نوشتار حاضر، تحلیل کیفی راندمان عامل هوشمند در این بستر، بر پایه تقابل مفهومی دو متدولوژی Q-Learning کلاسیک و شبکه Q عمیق (DQN) است. این فرآیند پژوهشی با تکیه بر روش شناسی کیفی-تحلیلی و بر بنیان استدلال های منطقی-مفهومی سامان یافته است؛ بدین معنا که به جای تکیه بر شبیه سازی های عددی صرف، ماهیت مسئله یادگیری، پتانسیل های الگوریتمی، مقتضیات رایانشی و سنجه های چندبعدی کارایی کالبدشکافی شده اند. دستاوردهای تئوریک این واکاوی نشان داد که رویکرد Q-Learning به دلیل وضوح ریاضی، ساختار صریح و سطح تفسیرپذیری بالا، پایه ای گران بها برای درک منطق استنتاج سیستم محسوب می شود، اما در فضاهای تورم یافته با پدیده انفجار حالت، نقص مفرط در تعمیم راهبرد و کندی نرخ همگرایی مواجه است. در نقطه مقابل، معماری DQN با بکارگیری شبکه های عصبی به عنوان تخمین گرهای عمومی تابع ارزش، توانمندی به مراتب بالاتری در استخراج الگو از سیگنال های دیداری خام، پایداری سیاست رفتاری و تعمیم دهی میان فضاهای همجوار توپولوژیک از خود نشان می دهد؛ هرچند این تفوق فنی، مشروط به تحمیل هزینه های پردازشی سنگین، نیاز مفرط به کلان داده های آموزشی و کاهش شفافیت در ممیزی فرآیند استنتاج است.

کلیدواژه ها:

عامل هوشمند ، یادگیری تقویتی ، Q-Learning ، DQN ، بازی Pong.