یک چارچوب RAG آگاه از عدم قطعیت برای ارتقای دقت، سازگاری و قابلیت اتکای مدل های زبانی بزرگ در کاربردهای واقعی

مدل های زبانی بزرگ در کاربردهای واقعی با چالش هایی مانند توهم زایی، ناپایداری پاسخ، عدم سازگاری با شواهد و کالیبراسیون ضعیف عدم قطعیت مواجه اند که دقت و قابلیت اتکای آن ها را کاهش می دهد. این مسئله به ویژه در سناریوهای حساس، موجب تولید پاسخ های نادقیق و غیرقابل اعتماد می شود. برای رفع این محدودیت، در این مقاله یک چارچوب RAG آگاه از عدم قطعیت پیشنهاد می شود که با ترکیب بازیابی شواهد بیرونی، برآورد عدم قطعیت، و بازپالایی تطبیقی پاسخ، کیفیت خروجی مدل را بهبود می دهد. در این روش، ابتدا اسناد مرتبط بازیابی شده، سپس میزان اطمینان پاسخ و هم راستایی آن با شواهد ارزیابی می شود و در صورت نیاز، پاسخ به صورت خودکار اصلاح می گردد. نتایج آزمایشی نشان می دهد که روش پیشنهادی به دقت ۹۲.۴٪، F۱ برابر ۰.۹۱ و AUC برابر ۰.۹۵ دست یافته و نسبت به روش های پیشین مبتنی بر RAG و مدل های زبانی پایه، کاهش ۱۴.۸٪ در خطا و افزایش ۹.۶٪ در سازگاری پاسخ را فراهم کرده است. این یافته ها نشان می دهد که تلفیق بازیابی و آگاهی از عدم قطعیت می تواند عملکرد مدل های زبانی بزرگ را در محیط های واقعی به طور معناداری ارتقا دهد و اتکاپذیری آن ها را در کاربردهای عملی افزایش دهد.

کلیدواژه ها:

مدل های زبانی بزرگ ، بازیابی تقویت شده ، آگاهی از عدم قطعیت ، دقت پاسخ ، سازگاری پاسخ ، قابلیت اتکا