چرا مدل های زبانی فراموش می کنند؟ پنجره متن، حافظه و RAG در ۲۰۲۶

اگر با چت بات های هوش مصنوعی زیاد کار کرده باشید، حتما این تجربه را داشته اید: وسط یک گفت وگوی طولانی، مدل ناگهان چیزی را که اول مکالمه گفته بودید فراموش می کند، یا جزئیاتی را قاطی می کند. عجیب است، نه؟ ماشینی که می تواند یک کتاب صد صفحه ای را خلاصه کند، چرا حرف ده دقیقه پیش شما را یادش نمی ماند؟

جواب کوتاه این است: مدل های زبانی «حافظه» ندارند؛ آن ها فقط یک «پنجره ی متن» دارند. و همین تفاوت کوچک، همه چیز را توضیح می دهد.

پنجره متن چیست؟

وقتی با یک مدل زبانی حرف می زنید، مدل در هر لحظه فقط یک بخش محدود از متن را می بیند؛ به این محدوده «پنجره متن» یا Context Window می گویند. واحد اندازه گیری آن «توکن» است؛ تقریبا هر ۱۰۰ توکن حدود ۷۵ کلمه انگلیسی است.

پنجره متن مثل حافظه کاری کوتاه مدت ماست: جایی که چند جمله آخر را نگه می داریم تا حرف مان را ادامه دهیم. اما برخلاف ما، مدل بعد از پایان هر جلسه، هیچ چیز را به خاطر نمی سپارد؛ چون دانش مدل در «وزن های» آن است که بعد از آموزش ثابت می ماند، و گفت وگوی شما به طور پیش فرض در آن ذخیره نمی شود. پس هر بار که جلسه ای تازه باز می کنید، مدل از صفر شروع می کند؛ مگر آنکه سامانه، خلاصه یا یادداشت هایی از جلسه قبل را دوباره جلوی چشمش بگذارد.

پنجره متن در ۲۰۲۶ چقدر بزرگ شده است؟

عددها در چند سال اخیر به طرز چشمگیری رشد کرده اند. بر اساس اطلاعات رسمی سازندگان در سال ۲۰۲۶، حداکثر ورودی تبلیغ شده این مدل ها چنین است: GPT-5.4 حدود ۱٬۰۵۰٬۰۰۰ توکن ورودی و ۱۲۸٬۰۰۰ توکن خروجی؛ GPT-5.2 و GPT-5 حدود ۴۰۰٬۰۰۰ توکن ورودی؛ Claude Opus 4.6 و Claude Sonnet 4.5 حدود ۱٬۰۰۰٬۰۰۰ توکن ورودی و ۲۰۰٬۰۰۰ توکن خروجی (در Opus 4.6 پنجره یک میلیون توکنی در نسخه بتا و با تنظیمات مخصوص در دسترس است)؛ Gemini 4 Argon و Gemini 3 Pro و Gemini 2.5 Pro حدود ۱٬۰۴۸٬۵۷۶ توکن ورودی و ۶۵٬۵۳۶ توکن خروجی؛ Grok 4.2 حدود ۲٬۰۰۰٬۰۰۰ توکن؛ Llama 4 Scout حدود ۱۰٬۰۰۰٬۰۰۰ توکن؛ Kimi K2.5 و Qwen3-Max حدود ۲۶۲٬۱۴۴ توکن.

یک میلیون توکن یعنی تقریبا ۷۵۰ هزار کلمه؛ یعنی چند رمان کامل را می شود در یک پنجره جا داد. پس مشکل حل شده است؟ نه کاملا. این اعداد حداکثر اسمی اند؛ «پنجره ی قابل استفاده به صورت موثر» کوچک تر است. با طولانی تر شدن متن، دقت مدل افت می کند؛ پدیده ای که پژوهشگران آن را Context Rot یا «پوسیدگی متن» می نامند.

چرا مدل ها فراموش می کنند؟

۱. برش و خلاصه سازی: وقتی متن از حد پنجره بگذرد، بخش های قدیمی بریده یا خلاصه می شوند. در بسیاری از سامانه ها، نتایج ابزارها حذف و گفت وگو با نسخه ای فشرده ادامه می یابد. پس «فراموشی» گاهی یک تصمیم طراحی است، نه یک باگ.

۲. افت توجه در میانه متن: سازوکار «توجه» (Attention) با سه مفهوم پرس وجو، کلید و مقدار کار می کند. در دسترس بودن یک توکن به معنای استفاده قابل اعتماد از آن نیست. مطالعه معروف «Lost in the Middle» (لیو و همکاران، ۲۰۲۳) نشان داد عملکرد مدل در میانه ی متن بلند به شکل U افت می کند؛ یعنی ابتدا و انتهای متن بهتر به خاطر می مانند و وسط متن بیشتر فراموش می شود. شبیه خود ما که اول و آخر یک سخنرانی را بهتر یادمان می ماند!

۳. پوسیدگی متن (Context Rot): پژوهشی از آنتروپیک در اوت ۲۰۲۶ نشان داد که عملکرد مدل در ۶۴٬۰۰۰ توکن حدود ۵۰٪ و در ۱۲۸٬۰۰۰ توکن بیش از ۸۰٪ نسبت به عملکرد در ۸٬۰۰۰ توکن افت می کند. یعنی هرچه متن را بیشتر شلوغ کنیم، مدل کمتر دقیق می شود. آنتروپیک در سپتامبر ۲۰۲۵ «مهندسی متن» را این طور تعریف کرد: انتخاب، بازیابی و فشرده سازی هوشمندانه متن؛ نه فقط ریختن همه چیز در پنجره.

۴. حافظه پنهان، حافظه نیست: چیزی به نام KV Cache وجود دارد که سرعت محاسبه را بالا می برد؛ اما این یک میان بر محاسباتی است، نه حافظه زندگی نامه ای. انقضای این کش با حذف از پنجره فرق دارد.

پس حافظه بلندمدت را چطور می سازند؟

روش اول، RAG یا «تولید تقویت شده با بازیابی» است؛ یعنی مدل لازم نیست همه چیز را حفظ کند؛ کافی است بلد باشد سراغ منبع برود. روند کار ساده است: سندها به قطعه های کوچک تقسیم می شوند؛ هر قطعه به بردار عددی (Embedding) تبدیل و در یک پایگاه داده برداری ذخیره می شود؛ وقتی سوال می پرسید، قطعه هایی که از نظر معنایی به سوال نزدیک اند بازیابی می شوند؛ این قطعه ها به پرامپت تزریق می شوند و مدل بر اساس همان منابع پاسخ می دهد. در این روش وزن مدل تغییر نمی کند و پاسخ بر منابع خارجی استوار است. اما خطای بازیابی، منابع متناقض و شلوغی متن از محدودیت های آن است. پژوهش لی و همکاران (۲۰۲۴) نشان داد RAG در بیشتر وظایف بهتر از متن بلند عمل می کند؛ اما در استدلال چندمرحله ای، متن بلند برتری دارد.

روش دوم، حافظه خلاصه سازی و عامل محور است: واقعیت های کلیدی از گفت وگو استخراج و به روزرسانی می شوند تا در جلسه های بعدی بازیابی شوند؛ گاهی هم با گراف دانش ترکیب می شود (حافظه ترکیبی). نمونه معروف آن Mem0 است؛ مقاله آن در آوریل ۲۰۲۵ منتشر شد (arXiv:2504.19413) و طبق ادعای سازندگانش، نسبت به خط پایه ی متن کامل ۲۶٪ دقت بیشتر و ۹۱٪ تاخیر کمتر دارد. این ارقام از گزارش های سازنده و بنچمارک هاست و باید با احتیاط نقل شود. در سال ۲۰۲۶ نیز پژوهش هایی مانند «Memory in the LLM Era» (آوریل ۲۰۲۶) و بنچمارک LongMemEval-V2 (مه ۲۰۲۶) نشان می دهند گرایش اصلی، ترکیب RAG، حافظه خلاصه سازی و گراف دانش است؛ نه اتکا به پنجره متن صرفا بزرگ تر.

نتیجه عملی برای ما چیست؟

پنجره بزرگ تر به تنهایی «حافظه» نمی سازد؛ متن بیشتر، دقت کمتر هم می آورد. اگر می خواهید مدل چیزی را فراموش نکند، مهم ترین نکته ها را در ابتدا و انتهای پیام تکرار کنید، یا آن ها را در یک فایل و سند جدا نگه دارید و با RAG به مدل بدهید. خلاصه سازی دوره ای گفت وگوهای طولانی، بهتر از رها کردن هزاران خط متن در پنجره است. و اگر در حال ساخت محصول با مدل های زبانی هستید، از همان اول برای حافظه طراحی کنید: چه چیزی باید ذخیره شود، چه چیزی باید بازیابی شود و چه چیزی را می شود فراموش کرد.

مدل های زبانی قرار نیست مثل انسان به خاطر بسپارند؛ قرار است مثل یک همکار خوب، وقتی لازم شد، سراغ یادداشت ها بروند. و هنر ما این است که یادداشت های درست را جلوی چشمشان بگذاریم.

منابع: مستندات رسمی OpenAI، Anthropic و Google AI؛ arXiv:2504.19413 (Mem0)؛ arXiv:2604.01707 (Memory in the LLM Era)؛ پژوهش «Lost in the Middle» (۲۰۲۳).