وقتی مدل خودش داور می شود: بهینه سازی مستقیم ترجیح در هم ترازی مدل های زبانی

مدل های زبانی بزرگ پس از پیش آموزش، هنوز با سلیقه انسان فاصله دارند؛ پاسخی می دهند که از نظر زبانی درست است، اما شاید به اندازه کافی مفید یا دقیق نباشد. برای نزدیک کردن این مدل ها به ترجیح انسانی، سال ها روش استاندارد، یادگیری تقویتی از بازخورد انسانی بود؛ روشی سه مرحله ای و پرهزینه که نخست یک مدل پاداش می ساخت و سپس با الگوریتمی مانند پی پی او سیاست مدل را بهینه می کرد. بهینه سازی مستقیم ترجیح، که رافایلوف و همکارانش در دانشگاه استنفورد در مه ۲۰۲۳ معرفی کردند و در کنفرانس نورایپس همان سال منتشر شد، نشان داد می توان همین هدف را بدون مدل پاداش و بدون یادگیری تقویتی هم دنبال کرد.

از مدل پاداش تا پاداش ضمنی

ایده مرکزی این روش یک مشاهده ریاضی ساده اما ژرف است. در هدف کلاسیک هم ترازی، یعنی بیشینه کردن پاداش با یک قید واگرایی کولبک لایبلر نسبت به مدل مرجع، سیاست بهینه یک شکل بسته دارد؛ به بیان دیگر، پاداش را می توان مستقیم از روی نسبت احتمال های سیاست بهینه و سیاست مرجع بازنویسی کرد. اگر این بازنویسی را در مدل ترجیحی بردلی تری جایگذاری کنیم، عبارت پاداش حذف می شود و یک تابع زیان طبقه بندی ساده باقی می ماند. نتیجه این است که مدل زبانی، خود، نقش مدل پاداش را بازی می کند و با بالا بردن احتمال پاسخ برگزیده نسبت به پاسخ ردشده، پاداش ضمنی آن را افزایش می دهد. آموزش به یک حلقه واحد یادگیری نظارت شده روی جفت های ترجیحی تبدیل می شود و دیگر نه مدل پاداش جداگانه ای لازم است و نه چرخه ناپایدار یادگیری تقویتی.

سادگی، نقطه قوت و نقطه ضعف

همین سادگی، بهینه سازی مستقیم ترجیح را به سرعت به انتخابی محبوب تبدیل کرد. زفیر بتا در اکتبر ۲۰۲۳ از نخستین مدل هایی بود که با این روش هم تراز شد و پس از آن، نسخه های دستورمحور لاما ۳، خانواده تولو ۲ و ۳ و نمترون ۴ با ۳۴۰ میلیارد پارامتر نیز از این روش یا گونه های آن بهره بردند. آموزش پایدارتر و ارزان تر از پی پی او است و در آزمایشگاه های کوچک هم قابل اجراست. اما سادگی بهایی دارد. نخست، روش برون سیاستی است؛ روی داده ای ایستا آموزش می بیند که معمولا مدل دیگری تولید کرده است و هرچه سیاست از آن داده دور شود، سیگنال ترجیحی کم اعتبارتر می شود. دوم، وقتی ترجیح ها تقریبا قطعی اند، زیان به اشباع می رسد و تنها راه افزایش حاشیه، دورشدن بی حد سیاست از مدل مرجع است؛ پدیده ای که به بیش برازش و فراموشی دانش پیشین می انجامد. سوم، در عمل احتمال پاسخ برگزیده هم ممکن است کاهش یابد، فقط با سرعتی کمتر از پاسخ ردشده؛ جابه جایی درست نمایی نام دارد و در مواردی می تواند احتمال پاسخ های نامطلوب را هم بالا ببرد.

پرگویی و نسل پس از آن

چهارمین محدودیت، پرگویی است. چون داوران انسانی معمولا پاسخ های بلندتر را ترجیح می دهند، این سوگیری در داده ترجیحی نفوذ می کند و در سیاست بازتولید می شود؛ پژوهش ها نشان داده اند پاسخ های مدل آموزش دیده با این روش می تواند تا نزدیک دو برابر داده برچسب خورده بلند شود. همین ضعف ها موجی از روش های جانشین ساخت؛ آی پی او از دیپ مایند با یک زیان درجه دو جلوی اشباع را می گیرد، کی تی او با بازخورد دودویی پسند و نپسند کار می کند که همان شکل واقعی بازخورد در محصولات است، سیم پی او پاداش ضمنی را بر طول پاسخ نرمال می کند و نسخه های تکرارشونده با بازتولید داده از سیاست جاری، مشکل برون سیاستی بودن را کاهش می دهند.

بهینه سازی مستقیم ترجیح، هم ترازی را از یک پروژه سنگین مهندسی به یک مسئله یادگیری ساده تبدیل کرد و همین دموکراتیک شدن، دلیل نفوذ سریع آن بود. اما درس مهم آن فراتر از یک ترفند ریاضی است؛ هر روشی که ترجیح انسانی را به یک عدد خلاصه کند، سوگیری های همان ترجیح را هم به ارث می برد. آینده هم ترازی در ساختن سیگنال های ترجیحی دقیق تر است، نه در بهینه کردن کورکورانه یک امتیاز.

بهزاد حسین عباسی، بنیانگذار اپراتوری هوش مصنوعی و اپراتوری ابرهوش