استنتاج علی در یادگیری تقویتی چندعاملی

یادگیری تقویتی چندعاملی نوین به طور بنیادین به دلیل اتکای آن بر الگوهای همبستگی کاذب با محدودیت هایی جدی روبروست؛ امری که منجر به فقدان استواری، تعمیم پذیری ضعیف در محیط های گوناگون و تخصیص اعتبار ناکارآمد میان عامل ها می شود. این مقاله مروری استنتاج علی را به عنوان یک چارچوب اصولی برای پرداختن به این کاستی های حیاتی معرفی می کند و با ارائه اولین نمای جامع از حوزه نوظهور Causal MARL شکاف میان استدلال علی و یادگیری تقویتی را پر می کند. مهم ترین دستاورد ما ارائه یک طبقه بندی نوین و مسئله محور است که روش های موجود Causal MARL را بر اساس چالش های کلیدی که به آنها می پردازند دسته بندی می کند؛ کشف علیت، استدلال خلاف واقع، تخصیص اعتبار، مدل های علی ساختاری (SCMs)، تعمیم پذیری و ارتباطات فراتر. از این طبقه بندی ما مبرم ترین چالش های بازی را که مانع پیشرفت هستند مانند مسائل مقیاس پذیری و نحوه مدیریت مخدوش گرهای مشاهده شده جمع بندی می کنیم. علاوه بر این با تشریح جهت گیری های پژوهشی تاثیرگذار که می توانند این حوزه را به پیش برانند، مسیر روشنی را برای تحقیقات آینده ترسیم می نماییم. در نهایت بر این نکته تاکید می کنیم که ادغام استدلال علی صرفا یک بهبود تدریجی نیست، بلکه یک ضرورت تحول آفرین برای خلق سیستم های چندعاملی حقیقتا هوشمند، استوار و تعمیم پذیر است که قادر به شکوفایی در محیط های پیچیده و پویا باشند.

کلیدواژه ها:

یادگیری تقویتی چندعاملی (MARL) ، یادگیری تقویتی چندعاملی ، علی استنتاج علی ، Causal MARL ، کشف علیت ، تخصیص اعتبار ، مدل های علی ساختاری (SCMs) ، تعمیق پذیری ، ارتباطات