مدل های استدلال گر: چرا هوش مصنوعی پیش از پاسخ دادن فکر می کند؟

مقدمه: پرسش اصلی

مدل های زبانی معمولی جواب را بلافاصله می نویسند؛ واژه به واژه، بدون مکث. اما نسل تازه ای از مدل ها پیش از پاسخ نهایی، مدتی «فکر می کنند»: زنجیره ای طولانی از گام های میانی می سازند، راه حل را آزموده و بازبینی می کنند و بعد به جواب می رسند. این مدل های استدلال گر، در مسئله های دشوار ریاضی، برنامه نویسی و منطق، جهشی چشمگیر داشته اند؛ جهشی که از بزرگ تر کردن مدل نیامده، بلکه از بیشتر فکر کردن آمده است. پرسش این یادداشت این است که «فکر کردن» برای یک مدل زبانی یعنی چه، چگونه آموزش داده می شود و کی به درد ما می خورد — و کی فقط وقت و هزینه تلف می کند.

از پرامپت «قدم به قدم فکر کن» تا آموزش استدلال

ایده ی استدلال مرحله به مرحله، نخست به صورت یک ترفند پرامپتی مطرح شد: وی و همکارانش در سال ۲۰۲۲ نشان دادند که اگر از مدل بخواهیم پیش از جواب نهایی، گام های میانی را بنویسد، دقتش در مسئله های چندمرحله ای بالا می رود. به این روش «زنجیره ی تفکر» یا chain-of-thought می گویند. اما این فقط یک ترفند هنگام استفاده بود؛ مدل، استدلال را یاد نگرفته بود، فقط وقتی از او خواسته می شد آن را نمایش می داد. تغییر بزرگ در سپتامبر ۲۰۲۴ رخ داد، وقتی OpenAI مدل o1 را معرفی کرد: مدلی که با یادگیری تقویتی در مقیاس بزرگ آموزش دیده بود تا پیش از پاسخ، زنجیره ی تفکر درونی طولانی بسازد. نتیجه خیره کننده بود: در آزمون ریاضی AIME 2024، مدل GPT-4o حدود ۱۲ درصد و مدل o1 حدود ۷۴ درصد گرفت؛ آن هم نه با مدلی بزرگ تر، بلکه با مدلی که هنگام پاسخ دادن بیشتر فکر می کرد. پیام روشن بود: محاسبه در لحظه ی پاسخ (test-time compute) یک محور تازه ی مقیاس پذیری است، در کنار محاسبه ی آموزش.

دیپ سیک R1: استدلال، بدون معلم انسانی

چهار ماه بعد، دیپ سیک در ژانویه ی ۲۰۲۵ مدل R1 را منتشر کرد و نشان داد که این توانایی را می توان بدون معلم انسانی و با دستورالعملی باز ساخت. ایده ی مرکزی R1 «یادگیری تقویتی با پاداش های قابل تایید» بود: به جای اینکه انسان ها جواب ها را رتبه بندی کنند، پاداش از یک قاعده ی روشن می آمد؛ مثلا در مسئله ی ریاضی، جواب نهایی درست است یا نه. مدل هزاران بار مسئله حل می کرد و فقط وقتی به جواب درست می رسید پاداش می گرفت. نسخه ی R1-Zero حتی بدون هیچ مرحله ی آموزش نظارت شده، فقط با همین یادگیری تقویتی خالص، از ۱۵٫۶ درصد به ۷۱ درصد در آزمون AIME 2024 رسید؛ با همان معماری و همان تعداد پارامتر، فقط با بیشتر فکر کردن. الگوریتم به کاررفته در این آموزش، GRPO بود؛ گونه ای از یادگیری تقویتی که به جای نگه داشتن یک مدل منتقد جداگانه، چند پاسخ را برای یک مسئله نمونه می گیرد و آن ها را با میانگین گروه مقایسه می کند. دیپ سیک علاوه بر مدل اصلی، نسخه های تقطیرشده ی کوچک تر را هم منتشر کرد؛ یعنی استدلال آموخته شده را به مدل های کوچک تر منتقل کرد تا روی سخت افزار معمولی هم اجرا شوند. همین انتشار باز بود که استدلال را از یک قابلیت انحصاری، به یک دستورالعمل در دسترس همگان تبدیل کرد.

استدلال چگونه کار می کند؟

درون یک مدل استدلال گر، پیش از پاسخ نهایی، سه اتفاق می افتد. نخست، تجزیه: مدل مسئله را به گام های کوچک تر می شکند و برای هر گام، فرضیه می سازد. دوم، خودبازبینی: مدل گام هایش را دوباره بررسی می کند، تناقض ها را می یابد و گاهی به عقب برمی گردد؛ در زنجیره های تفکر این مدل ها، عبارت هایی شبیه «صبر کن، این جا اشتباه کردم» دیده می شود. سوم، تایید نهایی: مدل پیش از اعلام جواب، آن را با محاسبه یا منطق مسئله می سنجد. پژوهش اسنل و همکارانش در سال ۲۰۲۴ نشان داد که این محاسبه ی اضافی، یک منبع قابل تنظیم است: می توان «بودجه ی فکر» را کم یا زیاد کرد و دقت معمولا با آن بالا می رود — تا جایی که گاهی مدل کوچک تر با فکر بیشتر، از مدل بزرگ تر بی فکر بهتر عمل می کند. اما این رابطه بی نهایت نیست؛ فکر بیشتر همیشه بهتر نیست و در مسئله های ساده، استدلال طولانی فقط زمان و هزینه می برد و گاهی حتی مدل را از جواب درست اولیه دور می کند. به همین دلیل، مدل های جدید امکان تنظیم «تلاش استدلال» را می دهند؛ از کم تا زیاد، بسته به سختی کار.

یک مثال ملموس: برنامه ی محتوایی یک ماهه

فرض کنید یک تولیدکننده ی محتوا می خواهد برای یک برند ایرانی، برنامه ی محتوایی یک ماهه بسازد: دوازده ریل، با تنوع موضوع، بدون تکرار و متناسب با تقویم مناسبت ها. مدل معمولی، فهرستی سریع می سازد، ولی معمولا موضوع ها تکرار می شوند یا با تاریخ مناسبت ها نمی خوانند. مدل استدلال گر، پیش از نوشتن فهرست، ابتدا مناسبت ها را فهرست می کند، موضوع های قبلی را کنار می گذارد، تعادل میان آموزش و سرگرمی را می سنجد و بعد برنامه را می چیند. نتیجه معمولا دقیق تر و منسجم تر است — اما با دو هزینه: زمان پاسخ چند برابر می شود و چون توکن های فکر هم محاسبه می شوند، هزینه ی هر درخواست بالاتر می رود. درس عملی این است: استدلال گر را برای کارهایی بگذارید که «درست بودن» مهم تر از «سریع بودن» است؛ مثلا طراحی استراتژی محتوا، برنامه ریزی کمپین یا بررسی یک قرارداد. برای کارهای روزمره مثل نوشتن یک کپشن ساده، مدل معمولی سریع تر و ارزان تر است. انتخاب درست، انتخاب مدل متناسب با سختی کار است، نه همیشه قدرتمندترین مدل.

محدودیت ها: فکر بیشتر، همیشه بهتر نیست

مدل های استدلال گر محدودیت های روشنی دارند. نخست، هزینه و تاخیر: هر پاسخ، هزاران توکن فکر می خواهد و کاربر باید منتظر بماند؛ برای گفت وگوی زنده، این تاخیر آزاردهنده است. دوم، «فکر بیش ازحد»: در مسئله های ساده، استدلال طولانی نه تنها کمکی نمی کند، بلکه گاهی مدل را به شک بی مورد و تغییر جواب درست می کشاند. سوم، شفافیت ناقص: در بسیاری از مدل های تجاری، زنجیره ی تفکر خام به کاربر نشان داده نمی شود؛ فقط خلاصه ای از آن دیده می شود، پس نمی توانیم مطمئن شویم مدل واقعا درست استدلال کرده یا فقط جواب را حدس زده و بعد توجیهش کرده است. چهارم، استدلال خوب به معنای دانش خوب نیست: مدلی که در ریاضی عالی استدلال می کند، ممکن است در موضوعی که دانش به روز ندارد، با اعتمادبه نفس کامل، استدلالی زیبا برای جوابی غلط بسازد. استدلال، خطای دانش را جبران نمی کند؛ فقط خطای محاسبه را کمتر می کند.

نتیجه گیری

مدل های استدلال گر نشان دادند که راه پیشرفت هوش مصنوعی فقط بزرگ تر کردن مدل نیست؛ گاهی باید به مدل «وقت فکر کردن» داد. از زنجیره ی تفکر وی و همکارانش تا o1 در سپتامبر ۲۰۲۴ و R1 دیپ سیک در ژانویه ی ۲۰۲۵، مسیر روشن است: استدلال را می توان آموزش داد، می توان آن را با پاداش های قابل تایید و بدون معلم انسانی ساخت، و می توان آن را به مدل های کوچک تر منتقل کرد. اما فکر کردن، منبع محدودی است و باید هوشمندانه خرج شود؛ برای مسئله های سخت و تصمیم های مهم، استدلال گر بهترین انتخاب است و برای کارهای ساده، مدل سریع و معمولی. آینده، به احتمال زیاد، ترکیب این دو است: سیستمی که خودش تشخیص می دهد کی باید سریع جواب دهد و کی باید بنشیند و فکر کند.