چرا مدل های زبانی توهم می زنند؟ علت ها و راه های کاهش خطا در ۲۰۲۶

تا حالا برایتان پیش آمده که از یک چت بات هوش مصنوعی سوالی بپرسید و پاسخی بگیرید که کاملا روان، مطمئن و قانع کننده است — اما بعدا بفهمید اصلا درست نبوده است؟ یک مقاله ی پژوهشی جعلی، یک نقل قول ساختگی، یا یک توضیح موجه که در منبع اصلی وجود نداشته است. به این پدیده «توهم» (Hallucination) مدل های زبانی می گویند؛ و برخلاف تصور رایج، یک باگ ساده نیست، بلکه از دل نحوه ی ساخته شدن این مدل ها بیرون می آید.

توهم چی

ست؟

پژوهشگران معمولا دو نوع توهم را از هم جدا می کنند:

۱) خطای واقعی: خروجی مدل با واقعیت در تضاد است؛ مثلا یک کشف علمی را به شخص اشتباهی نسبت می دهد یا مقاله ای را معرفی می کند که هرگز نوشته نشده است.

۲) خطای زمین گیرشدن (Grounding): خروجی با منبعی که به مدل داده شده پشتیبانی نمی شود؛ مثلا خلاصه ای از یک گزارش ارائه می دهد و توضیحی موجه اما غیرواقعی به آن اضافه می کند. نکته ی جالب اینجاست که یک گزاره می تواند در کل درست باشد، اما در آن کار خاص، پشتیبانی نشده محسوب شود.

پس توهم همیشه به معنای «دروغ گفتن» نیست؛ گاهی مدل چیزی می گوید که درست به نظر می رسد، اما هیچ مبنای قابل اتکایی برای آن ندارد.

چرا مدل های زبانی توهم می زنند؟

برای فهمیدن علت، باید چرخه ی عمر یک مدل را ببینیم:

در مرحله ی پیش آموزش (Pre-training): مدل از دل حجم عظیمی از متن می آموزد؛ داده هایی که ناقص، نویزی یا متناقض اند. دانش واقعی در مدل به شکلی غیرقابل اعتماد ذخیره می شود و مهم تر از همه، مدل برای پیش بینی احتمالی توکن بعدی آموزش دیده است؛ یعنی ادامه ای روان و موجه را بر حقیقت بررسی شده ترجیح می دهد. تولید پاسخی موجه با اثبات درست بودن آن یکسان نیست.

در مرحله ی پس آموزش: روش هایی مثل RLHF (یادگیری تقویتی با بازخورد انسانی) ممکن است ناخواسته پاسخ های مطمئن و خوشایند را بر پذیرش عدم قطعیت ترجیح دهند. مدل یاد می گیرد که گفتن «نمی دانم» کمتر پاداش می گیرد و پاسخ قاطع — حتی اگر نادرست باشد — بیشتر تشویق می شود.

در ارزیابی: بسیاری از معیارهای رایج، دقت حدس زدن را پاداش می دهند و خطاهای مطمئن نادرست را به اندازه ی کافی جریمه نمی کنند. نتیجه؟ مدلی که حدس می زند، امتیاز بیشتری می گیرد تا مدلی که محتاط است.

در بازیابی و استدلال: منابع ناقص، نادرست یا قدیمی، استفاده نشدن از شواهد بازیابی شده، انتشار خطا در استدلال چندمرحله ای و فراموشی در متن های طولانی، همه به توهم دامن می زنند.

در تعامل با کاربر: پرسش مبهم، کم مشخص یا گمراه کننده، پذیرش پیش فرض نادرست و فشار برای پاسخ قاطع، توهم را بیشتر می کند. وقتی شواهد گم شده، مبهم، قدیمی یا بد استفاده شده باشند، مدل باز هم پاسخی روان می دهد.

یافته های تازه در ۲۰۲۶

پژوهش های ۲۰۲۶ نگاه تازه ای به این مسئله دارند. به گفته ی OpenAI، توهم از خطا در طبقه بندی دودویی میان گزاره های درست و نادرست سرچشمه می گیرد؛ یک مدل ساده می تواند تقریبا کاملا کالیبره باشد، اما وقتی باید حقایق زیادی را بیاموزد، باز هم توهم می زند. پس کالیبراسیون — یعنی هماهنگی میزان اطمینان مدل با درستی واقعی پاسخ — نه فقط دقت، باید ارزیابی شود. حتی اگر مدل بتواند بدون جریمه بگوید «نمی دانم»، قاعده ی تصمیم بهینه باز هم ممکن است در برخی کارها حدس زدن را تشویق کند.

مقاله ای در مجله ی Nature نیز همین نکته را تاکید می کند: اگر ارزیابی فقط دقت را پاداش دهد و خودداری از پاسخ را مانند پاسخ نادرست جریمه کند، حدس زدن مطمئن تشویق می شود. پیام روشن است: مشکل فقط فنی نیست، به معیارهایی که برای سنجش مدل ها می سازیم هم برمی گردد.

چطور توهم را کاهش دهیم؟

هیچ راه حل واحدی — حتی یک پرامپت بهتر — توهم را به طور کامل حذف نمی کند، اما ترکیب این روش ها آن را به طور چشمگیری کاهش می دهد:

• بازیابی تقویت شده با تولید (RAG): وصل کردن مدل به منابع معتبر و به روز و الزام به استناد به منبع.

• استفاده از ابزار و شواهد معتبر: به جای تکیه بر حافظه ی داخلی مدل، پاسخ باید بر شواهد بیرونی استوار باشد.

• کالیبراسیون و اجازه ی گفتن «نمی دانم»: مدلی که بلد است بگوید نمی داند، از مدلی که همیشه حدس می زند قابل اعتمادتر است.

• جریمه ی سنگین تر خطاهای مطمئن: در ارزیابی و آموزش، پاسخ نادرست مطمئن باید بیشتر از خودداری از پاسخ جریمه شود.

• تجزیه ی پاسخ به ادعاهای کوچک: هر ادعا جداگانه در برابر منبع راستی آزمایی شود.

• خروجی های ساخت یافته و خلاصه های وابسته به منبع: قالب بندی مشخص، انحراف از منبع را کمتر می کند.

• خودسازگاری (Self-consistency): تولید چند پاسخ، مقایسه ی آن ها و انتخاب پاسخ پشتیبانی شده، و علامت گذاری اختلاف ها؛ یا استفاده از مدل دوم برای بررسی.

• راستی آزمایی انسانی: در کاربردهای پرخطر مانند سلامت، حقوق و پژوهش علمی، بررسی انسانی همچنان ضروری است.

جمع بندی

توهم، نشانه ی «دروغ گویی» مدل نیست؛ نتیجه ی طبیعی سیستمی است که برای روانی زبان آموزش دیده، نه برای راستی آزمایی حقیقت. خبر خوب این است که با ترکیب بازیابی معتبر، کالیبراسیون درست، ارزیابی هوشمندانه و نظارت انسانی می توان آن را تا حد زیادی مهار کرد. اما قانون طلایی برای ما کاربران هم روشن است: هرچه موضوع مهم تر باشد، بررسی مستقل پاسخ مهم تر است. به ویژه در پژوهش علمی، سلامت و حقوق، هیچ وقت پاسخ مدل را بدون راستی آزمایی نپذیرید.

منابع:

- OpenAI, «Why language models hallucinate» — https://openai.com/index/why-language-models-hallucinate/

- Nature, «Evaluating large language models for accuracy incentivizes ...» — https://www.nature.com/articles/s41586-026-10549-w

- Springer, «Hallucinations in LLMs: a lifecycle-based survey of causes, detection, mitigation, and prevention» — http://www.link.springer.com/article/10.1007/s41060-026-01214-6

- PMC, «Survey and analysis of hallucinations in large language models» — https://pmc.ncbi.nlm.nih.gov/articles/PMC12518350/