چرخش به جای جمع: جاسازی موقعیتی چرخشی چگونه به مدل زبانی حس ترتیب می دهد

مدل های زبانی بزرگ، جمله را همچون مجموعه ای از کلمه ها می بینند، نه همچون رشته ای مرتب. مکانیزم توجه، بدون کمک بیرونی، نمی داند کدام کلمه پیش از کدام کلمه آمده است. پرسش بنیادین این است که حس ترتیب را چگونه باید به مدلی داد که ذاتا ترتیب نمی شناسد. پاسخ های نخست، موقعیت را به بردار کلمه اضافه می کردند: یا برداری آموختنی برای هر جایگاه در نظر می گرفتند، یا از موج های سینوسی ثابت، به شیوه مقاله ترنسفورمر در سال ۲۰۱۷، استفاده می کردند. این روش ها کار می کردند، اما یک کاستی مهم داشتند: فاصله میان دو کلمه، به صورت مستقیم و شفاف، در محاسبه توجه دیده نمی شد.

چرخش به جای جمع

جاسازی موقعیتی چرخشی، که با نام روپه شناخته می شود، در مقاله روفورمر، نوشته جیانلین سو و همکاران در سال ۲۰۲۱، معرفی شد. ایده آن ساده و زیباست: به جای آنکه عددی به بردار کلمه اضافه کنیم، بردار پرسش و بردار کلید را بچرخانیم. هر بردار به جفت های دوبعدی تقسیم می شود و هر جفت، به اندازه زاویه ای متناسب با جایگاه کلمه، با بسامد متفاوتی می چرخد. چون چرخش طول بردار را تغییر نمی دهد، معنای کلمه حفظ می شود و فقط جهت آن حامل اطلاعات موقعیت می شود. نتیجه این است که حاصل ضرب داخلی پرسش چرخیده در جایگاه م و کلید چرخیده در جایگاه ن، فقط به فاصله نسبی م منهای ن وابسته است، نه به جایگاه مطلق هر یک.

این ویژگی، سه پیامد مهم دارد. نخست، مدل دیگر نیازی به جدول آموختنی موقعیت ندارد و چرخش در زمان اجرا محاسبه می شود. دوم، وابستگی میان کلمه های دور، با افزایش فاصله، به تدریج ضعیف می شود؛ همان رفتاری که در زبان طبیعی هم انتظار داریم، زیرا کلمه های نزدیک معمولا بیش از کلمه های دور بر یکدیگر اثر می گذارند. سوم، این روش با توجه خطی نیز سازگار است، چون اطلاعات نسبی درون همان حاصل ضرب داخلی نهفته است. همین سادگی و دقت ریاضی، روپه را به روش غالب در خانواده هایی مانند لاما، کوئن، جما و دیپ سیک تبدیل کرد.

وقتی متن از حد آموزش بلندتر می شود

روپه یک نقطه ضعف آشکار دارد: مدلی که با متن هایی تا طول معین آموزش دیده است، بیرون از آن بازه، با بسامدهایی روبه رو می شود که هرگز ندیده است و کیفیت توجه آن افت می کند. پژوهشگران برای حل این مشکل، به جای آموزش دوباره پرهزینه، روش های درون یابی موقعیت را پیشنهاد کردند. در درون یابی موقعیتی چن و همکاران در سال ۲۰۲۳، جایگاه های متن بلند به صورت خطی در بازه آشنا فشرده می شوند.

روش یارن، نوشته پنگ و همکاران در سال ۲۰۲۳، این ایده را دقیق تر کرد. یارن به جای فشرده سازی یکنواخت همه بسامدها، با بسامدهای گوناگون، متفاوت رفتار می کند: بسامدهای پایین، که ساختار دوربرد متن را حمل می کنند، کمتر دست می خورند و بسامدهای بالا، که الگوهای محلی را می سازند، درون یابی می شوند. همچنین با مقیاس دهی توجه، تغییر آنتروپی توزیع توجه در متن های بلند جبران می شود. بنابر چکیده مقاله یارن، این روش با ده برابر داده کمتر و دو و نیم برابر گام آموزشی کمتر نسبت به روش های پیشین، پنجره زمینه مدل های لاما را گسترش داد. پیام عملی آن روشن است: گسترش پنجره، فقط با تغییر هوشمندانه رمزگذاری موقعیت، بدون آموزش دوباره کامل مدل، ممکن شد.

جمع بندی

داستان روپه، داستان یک تغییر نگاه است: موقعیت، چیزی نیست که به معنا اضافه شود، بلکه جهتی است که معنا در آن می چرخد. همین چرخش ساده، به مدل اجازه می دهد فاصله میان کلمه ها را مستقیم در محاسبه توجه ببیند، بی آنکه جدول موقعیت یا پارامتر اضافه ای لازم داشته باشد. با این حال، پنجره بلندتر به تنهایی تضمین نمی کند که مدل، همه بخش های متن بلند را به یک اندازه خوب به کار گیرد؛ رمزگذاری موقعیت، شرط لازم برای درک متن بلند است، نه شرط کافی آن. پرسش پیش رو این است که مدل در طول بلند، چقدر دقیق و قابل اعتماد می اندیشد.

بهزاد حسین عباسی، بنیانگذار اپراتوری هوش مصنوعی و اپراتوری ابرهوش