توجه پراکنده بومی چیست؟ چگونه هوش مصنوعی مولد متن های بسیار بلند را سریع تر می خواند

مدل های زبانی بزرگ امروز می توانند یک کتاب کامل، مخزن کد یک پروژه یا چند ساعت گفت وگو را در یک پنجره زمینه جای دهند، اما این توانایی هزینه ای سنگین دارد. در مکانیزم توجه، هر توکن تازه باید به همه توکن های پیش از خود نگاه کند و با بلندتر شدن متن، حجم محاسبه و حافظه به سرعت رشد می کند. وقتی طول متن به ۶۴ هزار توکن می رسد، به گزارش پژوهشگران دیپ سیک، توجه به ۷۰ تا ۸۰ درصد زمان رمزگشایی تبدیل می شود. اینجاست که ایده ای به نام توجه پراکنده بومی وارد می شود؛ روشی که به جای نگاه کردن به همه چیز، فقط به بخش های مهم متن نگاه می کند و این کار را از همان مرحله پیش آموزش یاد می گیرد.

سه شاخه برای دیدن متن بلند

توجه پراکنده بومی که در فوریه ۲۰۲۵ از سوی پژوهشگران دیپ سیک، دانشگاه پکن و دانشگاه واشنگتن در مقاله ای با شناسه آرکایو 2502.11089 معرفی شد، متن را از سه مسیر موازی می خواند. شاخه نخست فشرده سازی توکن است؛ بلوک هایی از توکن ها به یک نمایش خلاصه تبدیل می شوند تا تصویر کلی متن حفظ شود. شاخه دوم انتخاب توکن است؛ برای هر پرسمان، بلوک هایی که بیشترین ارتباط را با آن دارند برگزیده می شوند و فقط همان ها با جزئیات کامل خوانده می شوند. شاخه سوم پنجره لغزان است که چند توکن نزدیک را همیشه در نظر می گیرد تا پیوستگی محلی جمله ها از دست نرود. خروجی نهایی از ترکیب این سه شاخه ساخته می شود.

تفاوت این روش با تلاش های پیشین، بومی بودن پراکندگی است. بسیاری از روش های پراکنده پس از آموزش مدل اضافه می شوند و مدل باید با الگویی کار کند که هرگز ندیده است. در توجه پراکنده بومی، الگوی پراکنده از همان آغاز پیش آموزش بخشی از مدل است. انتخاب بلوک ها هم به جای توکن های تکی انجام می شود؛ بلوک های پیوسته با نحوه دسترسی به حافظه کارت گرافیک سازگارند و از واحدهای تنسور کور بهتر استفاده می کنند. این طراحی با توجه گروهی پرسمان و توجه چندپرسمانی هم سازگار است.

نتایج آزمایش چه می گوید

پژوهشگران مدلی با ۲۷ میلیارد پارامتر در مجموع و ۳ میلیارد پارامتر فعال را با ۲۶۰ میلیارد توکن آموزش دادند و با مدلی هم اندازه با توجه کامل مقایسه کردند. مدل پراکنده در بنچمارک های عمومی و استدلالی هم تراز توجه کامل بود یا از آن بهتر عمل کرد. در آزمون سوزن در انبار کاه، که یک اطلاعات مشخص در دل متنی ۶۴ هزار توکنی پنهان می شود، این مدل در همه موقعیت ها اطلاعات را کامل بازیابی کرد. از نظر سرعت، در مقایسه با توجه فلش نسخه ۲ روی کارت گرافیک ای صد انویدیا، محاسبه پیش رو تا ۹ برابر و محاسبه پس رو تا ۶ برابر سریع تر شد.

تفاوت این روش با توجه فلش روشن است. توجه فلش توجه کامل را با مدیریت هوشمند حافظه سریع تر محاسبه می کند، اما همچنان به همه توکن ها نگاه می کند؛ توجه پراکنده بومی حجم کاری را که اصلا باید انجام شود کم می کند. با این حال این مقاله یک پیش چاپ آرکایو است و هنوز داوری همتا نشده است و عددهای سرعت در شرایط مشخص آزمایشگاهی به دست آمده اند. همچنین انتخاب بلوک همیشه این خطر را دارد که بلوکی در نگاه اول بی اهمیت به نظر برسد، اما در ادامه متن مهم شود؛ هرچند نتیجه آزمایش ها نشان می دهد ترکیب سه شاخه این خطر را تا حد زیادی مهار کرده است.

توجه پراکنده بومی نشان می دهد برای خواندن متن های بلند، لازم نیست مدل به همه چیز نگاه کند؛ کافی است به درستی انتخاب کند چه چیزی را خلاصه کند، چه چیزی را دقیق بخواند و چه چیزی را نزدیک نگه دارد. اگر این مسیر در مدل های واقعی به کار گرفته شود، پنجره های زمینه بلند دیگر یک ویژگی پرهزینه نخواهند بود، بلکه به ابزاری روزمره برای کار با اسناد، کد و گفت وگوهای طولانی تبدیل می شوند.

بهزاد حسین عباسی، بنیانگذار اپراتوری هوش مصنوعی و اپراتوری ابرهوش