مروری نظام مند بر قابلیت اعتماد، توهم و ایمنی در مدل های بزرگ بینایی-زبان

مدل های بزرگ بینایی-زبان با وجود پیشرفت های چشمگیر در وظایف چندوجهی، همچنان با دو چالش بنیادین قابلیت اعتماد روبه رو هستند: تولید محتوای توهمی ناسازگار با شواهد بصری، و آسیب پذیری در برابر حملات خصمانه که سازوکارهای ایمنی را دور می زنند. این مرور نظام مند، با پیروی از چارچوب گزارش دهی پریزما ۲۰۲۰، مطالعات منتشرشده از ژانویه ۲۰۲۲ تا ژوئن ۲۰۲۶ را پوشش می دهد و ۳۱ مطالعه واجد شرایط را ترکیب و تحلیل می کند. این مطالعه ریشه های فنی توهم در سطوح مختلف شامل شیء، ویژگی، رابطه و روایت، سازوکارهای گریز امنیتی بصری و راهبردهای کاهش در زمان آموزش و استنتاج را بررسی می کند. یافته های این مطالعه نشان می دهد که اتکای بیش از حد به پیشین های زبانی، ریشه مشترک بسیاری از خطاهای توهمی و شکست های ایمنی است و هم ترازی صرفا متنی برای سیستم های چندوجهی کافی نیست. همچنین، شکاف معناداری میان توانمندی های ارزیابی فعلی و پیچیدگی واقعی آسیب پذیری ها وجود دارد که مانع سنجش جامع قابلیت اعتماد می شود. این مرور با ارائه رده بندی یکپارچه از آسیب پذیری ها و نقشه راه پژوهشی، چارچوبی برای توسعه مدل های قابل اعتمادتر فراهم می آورد.

کلیدواژه ها:

مدل های بینایی-زبان ، قابلیت اعتماد ، توهم ، ایمنی چندوجهی ، جیل بریک بصری