یک رویکرد دفاعی چندلایه برای مقابله با حملات تزریق دستور (Prompt Injection) در برنامه های کاربردی مبتنی بر مدل های زبانی بزرگ

با گسترش استفاده از مدل های زبانی بزرگ در سامانه های هوشمند، چت بات ها، دستیارهای دیجیتال و برنامه های کاربردی مبتنی بر بازیابی و ابزارهای بیرونی، مسئله امنیت این سامانه ها به یکی از چالش های مهم پژوهشی و عملی تبدیل شده است. یکی از تهدیدهای نوظهور و جدی در این حوزه، حملات تزریق دستور یا Prompt Injection است که در آن مهاجم با وارد کردن دستورات فریبنده، پنهان سازی فرمان در متن های ظاهرا عادی، یا دستکاری داده های بازیابی شده، تلاش می کند رفتار مدل را از سیاست ها و محدودیت های از پیش تعیین شده منحرف سازد. پیامد این حملات می تواند شامل افشای اطلاعات حساس، دور زدن سیاست های امنیتی، تولید خروجی های نادرست، اجرای عملیات غیرمجاز و سوءاستفاده از ابزارهای متصل به مدل باشد. در این مقاله، یک رویکرد دفاعی چندلایه برای مقابله با حملات تزریق دستور در برنامه های کاربردی مبتنی بر LLM ارائه می شود. این رویکرد بر شش لایه اصلی شامل تفکیک سطوح اعتماد، پالایش ورودی، مهار زمینه، کنترل دسترسی، اعتبارسنجی خروجی و پایش مستمر استوار است. برخلاف روش هایی که تنها بر فیلتر ورودی یا پرامپت دفاعی متکی هستند، چارچوب پیشنهادی امنیت را در کل چرخه پردازش درخواست توزیع می کند و به این ترتیب در برابر حملات مستقیم، غیرمستقیم و ترکیبی مقاومت بیشتری نشان می دهد. همچنین در مقاله، چند سناریوی حمله بررسی و نقش هر لایه در کاهش ریسک تحلیل می شود. نتایج تحلیلی نشان می دهد که طراحی دفاع چندلایه می تواند به طور موثری احتمال موفقیت حملات Prompt Injection را کاهش دهد و برای توسعه ایمن برنامه های مبتنی بر مدل های زبانی بزرگ، یک راهکار عملی و قابل اتکا فراهم آورد.

کلیدواژه ها:

مدل های زبانی بزرگ ، تزریق دستور ، امنیت LLM ، دفاع چندلایه ، کنترل دسترسی ، چت بات هوشمند