حملات تزریق پرامپت علیه برنامه های مبتنی بر مدل های زبانی بزرگ (LLM)

مدل های زبانی بزرگ (LLMs) که به دلیل مهارت فوق العاده شان در درک و تولید زبان شناخته شده اند، اکوسیستم پویایی از برنامه های کاربردی را پیرامون خود شکل داده اند. با این حال، ادغام گسترده آن ها در خدمات مختلف، خطرات امنیتی قابل توجهی را به همراه دارد. این مطالعه به کالبدشکافی پیچیدگی ها و پیامدهای «حملات تزریق پرامپت» (Prompt Injection Attacks) در برنامه های واقعی مبتنی بر LLM می پردازد.ما در ابتدا یک تحلیل اکتشافی روی ۱۰ برنامه تجاری انجام دادیم که محدودیت های استراتژی های حمله فعلی را در عمل نشان داد. با الهام از این محدودیت ها، تکنیک جدیدی برای حمله تزریق پرامپت جعبه سیاه به نام HOUYI طراحی کردیم که از حملات سنتی تزریق وب (Web Injection) الگوبرداری شده است. روش HOUYI به سه بخش کلیدی تقسیم می شود: یک پرامپت پیش ساخته که به طور یکپارچه ادغام می شود، یک پرامپت تزریقی که باعث جداسازی متن (Context Partition) می گردد، و یک محموله مخرب (Malicious Payload) که برای دستیابی به اهداف حمله طراحی شده است. ما با استفاده از HOUYI، از پیامدهای شدید و ناشناخته ای پرده برداشتیم؛ از جمله استفاده نامحدود و دلخواه از LLM برنامه و سرقت آسان پرامپت های اصلی خود برنامه.ما HOUYI را روی ۳۶ برنامه واقعی مبتنی بر LLM پیاده سازی کردیم و متوجه شدیم که ۳۱ برنامه در برابر تزریق پرامپت آسیب پذیر هستند. ۱۰ شرکت ارائه دهنده (از جمله Notion که پتانسیل تحت تاثیر قرار دادن میلیون ها کاربر را دارد) یافته های ما را تایید کرده اند. پژوهش ما هم خطرات احتمالی حملات تزریق پرامپت و هم راهکارهای ممکن برای مقابله با آن ها را روشن می سازد.

کلیدواژه ها:

تزریق پرامپت ، امنیت مدل های زبانی بزرگ ، نشت پرامپت