ارزیابی قابلیت اعتماد و امنیت عامل های هوش مصنوعی مبتنی بر مدل های زبانی بزرگ: مرور نظام مند معیارهای ارزیابی، آسیب پذیری ها و چالش های آینده

گذار مدل های زبانی بزرگ از سامانه های مکالمه ای به عامل های خودمختار دارای حافظه، برنامه ریزی و دسترسی به ابزارها، مرزهای مسئله امنیت هوش مصنوعی را به طور بنیادی جابه جا کرده است؛ زیرا خطای یک مدل دیگر صرفا به تولید پاسخ نامطلوب محدود نمی شود و می تواند به فراخوانی ابزار، افشای داده، تغییر وضعیت سامانه یا زنجیره ای از اقدامات غیرقابل برگشت منجر شود. هدف این مقاله، ارائه یک مرور نظام مند و ارزیابی محور از قابلیت اعتماد و امنیت عامل های مبتنی بر مدل های زبانی بزرگ، با تمرکز بر معیارهای سنجش، بردارهای حمله، بنچ مارک های معتبر و راهبردهای دفاعی است. جست وجوی ساختاریافته شواهد در بازه ۲۰۲۳ تا ۱۹ اوت ۲۰۲۶ و در نمایه ها و مجموعه های علمی معتبر انجام شد و مطالعات مرتبط بر اساس ارتباط مستقیم با عامل های خودمختار، شفافیت روش ارزیابی و اعتبار انتشار انتخاب شدند. سنتز شواهد نشان می دهد که تزریق مستقیم و غیرمستقیم دستور، مسموم سازی حافظه و بازیابی، درپشتی، سوءاستفاده از ابزار و پروتکل های اتصال عامل، نشت داده و شکست های ناشی از استدلال بلندافق، مهم ترین خانواده های ریسک هستند. نتایج بنچ مارک های موجود نیز حاکی از آن است که موفقیت وظیفه، به تنهایی شاخص مناسبی برای اعتمادپذیری نیست؛ برای نمونه، در برخی ارزیابی ها نرخ موفقیت حمله به حدود ۸۴ درصد رسیده، هیچ عامل در یک بنچ مارک جامع ایمنی امتیاز بیش از ۶۰ درصد کسب نکرده و در سناریوهای ابزارمحور نیز حتی مدل های قوی در برابر تزریق غیرمستقیم آسیب پذیر بوده اند. بر پایه این شواهد، مقاله یک چارچوب پنج لایه برای ارزیابی عملیاتی اعتمادپذیری پیشنهاد می کند که مدل و استدلال، مرز دستور و زمینه، حافظه و دانش، ابزار و اقدام، و در نهایت تاب آوری و حاکمیت سامانه را به صورت هم زمان می سنجد. نتیجه اصلی آن است که اعتمادپذیری عامل باید به عنوان یک ویژگی سامانه ای و چندلایه ارزیابی شود و هر سازوکار استقرار در محیط واقعی به آزمون خصمانه مستمر، حداقل سازی اختیار، کنترل منشا داده، ثبت قابل ممیزی و امکان مداخله انسانی نیاز دارد.

کلیدواژه ها:

عامل هوش مصنوعی ، مدل زبانی بزرگ ، قابلیت اعتماد ، امنیت عامل ، ارزیابی ایمنی