هدایت از درون: مهندسی بازنمایی چگونه رفتار مدل زبانی را بدون آموزش دوباره تغییر می دهد

رفتار یک مدل زبانی بزرگ معمولا از دو راه تغییر می کند: پرامپت بهتر یا آموزش بیشتر. اما پژوهش های اخیر راه سومی را نشان داده اند: دست کاری مستقیم فعال سازی های درونی مدل در لحظه استنتاج، بدون تغییر حتی یک وزن. مهندسی بازنمایی همین راه سوم است؛ به جای باز کردن تک تک نورون ها، الگوهای جمعی فعال سازی را می خواند و با جابه جا کردن آن ها در جهت های معنادار، رفتار مدل را تنظیم می کند.

این رویکرد در مقاله اندی زو و همکارانش در اکتبر ۲۰۲۳ با عنوان مهندسی بازنمایی: رویکردی از بالا به پایین به شفافیت هوش مصنوعی صورت بندی شد. استدلال اصلی این است که مفاهیم سطح بالا مانند صداقت، نه در یک نورون منفرد، بلکه در الگوی جمعی فعال سازی های لایه های میانی شبکه بازنمایی می شوند. اگر جهت متناظر با یک مفهوم را در فضای فعال سازی پیدا کنیم، می توانیم آن را بخوانیم و کنترل کنیم.

خواندن: از جفت های متضاد تا بردار جهت

روش خواندن در این چارچوب، توموگرافی مصنوعی خطی نام دارد. پژوهشگر دو دسته پرامپت متضاد طراحی می کند؛ دسته ای که مدل را به پاسخ صادقانه دعوت می کند و دسته ای که آن را به پاسخ ناصادقانه سوق می دهد. سپس اختلاف فعال سازی های پنهان مدل در دو حالت محاسبه می شود. با تحلیل مولفه های اصلی روی همین اختلاف ها، یک بردار خواندن به دست می آید؛ جهتی که دو حالت را از هم جدا می کند و روی نمونه های دیده نشده نیز آن ها را با دقتی بیش از نود درصد تمایز می دهد.

کنترل: افزودن یک بردار در لحظه استنتاج

گام دوم، کنترل است. در روش افزودن فعال سازی که الکساندر ترنر و همکارانش در اوت ۲۰۲۳ معرفی کردند، بردار هدایت از تضاد فعال سازی های یک جفت پرامپت ساده، مانند عشق در برابر نفرت، به دست می آید و در جریان روبه جلوی مدل به فعال سازی ها اضافه می شود تا لحن و موضوع خروجی جابه جا شود، بی آنکه مدل دوباره آموزش ببیند. نسخه دقیق تر، افزودن فعال سازی متضاد است که نینا ریمسکی و همکارانش در دسامبر ۲۰۲۳ ارائه کردند؛ در این روش میانگین اختلاف فعال سازی روی مجموعه ای از جفت های متضاد گرفته می شود و بردار حاصل با ضریبی قابل تنظیم اعمال می شود. آزمایش روی لاما ۲ چت نشان داد این روش حتی از پرامپت سیستمی هم قوی تر عمل می کند.

شاهد تجربی: صداقت قابل اندازه گیری

مهم ترین شاهد تجربی، بنچمارک تروث فول کیوای است که باورهای نادرست رایج را می سنجد. در مقاله زو و همکارانش، مدل لاما ۲ چت با سیزده میلیارد پارامتر بدون مداخله ۳۵ ممیز ۹ درصد دقت داشت؛ با مداخله بردار متضاد این دقت به ۵۴ درصد رسید، روش لورا ۴۷ ممیز ۵ درصد و افزودن فعال سازی ساده ۳۸ ممیز ۸ درصد را ثبت کردند. پیام این اعداد آن است که جهت صداقت در درون مدل واقعا وجود دارد و مدل گاهی چیزی می گوید که با بازنمایی درونی خودش ناسازگار است.

کاربردها و مرزهای احتیاط

کاربردهای مهندسی بازنمایی فراتر از صداقت است: کاهش سمیت، تنظیم احساس و سبک نوشتار، پایش تمایل به قدرت طلبی و ویرایش دانش. اما این ابزار مرزهای روشنی هم دارد. جهت های خطی همیشه به صورت تمیز از هم جدا نیستند و مداخله بیش از حد می تواند توانایی عمومی مدل را تضعیف کند. خواندن یک جهت به معنای داشتن دروغ سنج قابل اعتماد نیست و به تصریح نویسندگان، ارزیابی جامع رفتار ناصادقانه هنوز کاری است برای آینده. هدایت ابزاری خنثی است؛ همان برداری که صداقت را تقویت می کند، با علامت مخالف می تواند آن را تضعیف کند.

جمع بندی

مهندسی بازنمایی جایگزین تفسیرپذیری مکانیکی نیست، بلکه مکمل از بالا به پایین آن است: به جای معکوس کردن کامل مدارهای مدل، از الگوهای سطح بالا شروع می کنیم. ترکیب این رویکرد با خودرمزگذارهای پراکنده می تواند شفافیت و کنترل دقیق تر رفتار مدل ها را بیشتر کند.

بهزاد حسین عباسی، بنیانگذار اپراتوری هوش مصنوعی و اپراتوری ابرهوش