پیاده سازی الگوریتمهای یادگیری تقویتی در یونیتی

در سالهای اخیر با پیشرفت موتورهای بازی سازی و افزایش کیفیت بصری بازیهای رایانهای نیاز به ارتقای سطح هوشمندی و واقع گرایی رفتاری شخصیتهای غیر قابل بازیها بیش از پیش احساس می شود. روشهای سنتی هوش مصنوعی مبتنی بر قوانین از پیش تعریف شده نظیر ماشین های حالت محدود و درختهای رفتار اگرچه در پروژه های کوچک کارآمد هستند اما در محیط های پویا و پیچیده بازیهای مدرن به ویژه بازیهای جهان باز، با محدودیت های جدی مواجه اند. در این پژوهش رویکردی مبتنی بر یادگیری تقویتی برای پیاده سازی و کنترل رفتار NPCها در موتور بازی سازی Unity ارائه شده است. بدین منظور، مجموعه ای از الگوریتم های مطرح یادگیری تقویتی شامل A۳C، DQN، TD۳، DDPG و DFP به صورت شخصی سازی شده و با استفاده از پلاگین Unity ML-Agents پیاده سازی شده اند. برای ارزیابی عملکرد این الگوریتم ها یک محیط بازی طراحی شده است که در آن NPC به عنوان یک عامل هوشمند باید با یادگیری تعامل موثر با محیط به هدف مشخصی دست یابد و از خروج از محدوده بازی جلوگیری کند. نتایج حاصل از آزمایش ها نشان می دهد که الگوریتم های یادگیری تقویتی عمیق به ویژه روش های مبتنی بر Actor-Critic توانایی بالاتری در یادگیری رفتارهای پایدار و هدف محور نسبت به روش های استاندارد ارائه شده در Unity دارند. این پژوهش نشان می دهد که استفاده از الگوریتم های یادگیری تقویتی می تواند گامی موثر در جهت توسعه NPCهای تطبیقی و واقع گراتر در بازی های رایانه ای باشد و قابلیت گسترش به محیط های پیچیده تر و بازی های بزرگ مقیاس را دارد.

کلیدواژه ها:

بازی ، یونیتی ، هوش مصنوعی ، یادگیری تقویتی ، Actor-Critic