بررسی اعتماد، کنترل و خودمختاری: چالش های توسعه هوش مصنوعی عامل محور

هوش مصنوعی عامل محور به عنوان نسل جدید سامانه های هوشمند، توانایی تصمیم گیری مستقل، برنامه ریزی و اقدام خودمختار را در محیط های پیچیده فراهم می کند. این سطح از عاملیت، در کنار فرصت های گسترده در صنعت، پژوهش و مدیریت داده، چالش های مهمی در زمینه اعتماد، کنترل پذیری و حدود خودمختاری ایجاد کرده است. مسئله اصلی این است که چگونه می توان به سامانه ای که قادر به تعریف هدف و انتخاب مسیر اقدام است اعتماد کرد و چه سازوکارهایی برای نظارت و کنترل رفتار آن ضروری است. این پژوهش با رویکرد مرور روایی نظام مند، ادبیات علمی سال های اخیر را بررسی کرده و نشان می دهد که اعتماد به Agentic AI وابسته به شفافیت، توضیح پذیری و قابلیت پیش بینی رفتار است، در حالی که کنترل پذیری آن نیازمند چارچوب های فنی و اخلاقی هماهنگ است. همچنین مشخص شد که افزایش خودمختاری، در صورت نبود سازوکارهای نظارتی، می تواند منجر به رفتارهای غیرقابل پیش بینی شود. نتایج این مطالعه تصویری جامع از چالش ها و الزامات توسعه مسئولانه هوش مصنوعی عامل محور ارائه می کند.

کلیدواژه ها:

هوش مصنوعی عامل محور ، خودمختاری سیستم های هوشمند ، چالش هایAI ، سیستم های چندعاملی ، نظارت انسانی-ماشینی