مدل مامبا چیست؟ مدل های فضای حالت و پایان انحصار توجه در هوش مصنوعی مولد

از سال ۲۰۱۷، تقریبا همه مدل های بزرگ زبانی روی ترنسفورمر و مکانیزم توجه ساخته شده اند. توجه قدرتمند است، اما هزینه آن با مربع طول متن رشد می کند؛ وقتی متن دو برابر شود، محاسبه چهار برابر می شود. پرسش طبیعی این بود: آیا می توان دنباله را بدون توجه هم مدل کرد؟ پاسخ، خانواده ای از معماری ها به نام مدل های فضای حالت است که با مدل مامبا به اوج رسید.

_{از نظریه کنترل تا مدل زبانی مدل فضای حالت، ایده ای قدیمی از نظریه کنترل است: یک حالت پنهان با ورودی تازه به روز می شود و خروجی تولید می کند. در هوش مصنوعی، این یعنی گذشته متن در حالتی با اندازه ثابت فشرده می شود؛ پس هزینه با طول متن خطی است، نه مربعی. نقطه عطف این مسیر، مدل اس فور بود که آلبرت گو، کاران گوئل و کریستوفر ره در سال ۲۰۲۱ معرفی کردند. اس فور با پارامتری کردن هوشمندانه ماتریس حالت، این بازگشت خطی را هم به صورت موازی آموزش داد و هم در استنتاج ارزان اجرا کرد؛ با دقت ۹۱ درصد در طبقه بندی ترتیبی سیفار ۱۰، بهترین نتیجه در بنچمارک لانگ رنج آرنا و حل وظیفه دشوار پت اکس با طول ۱۶ هزار توکن. اما پارامترهای اس فور ثابت بودند و به محتوای ورودی وابسته نمی شدند؛ مدل نمی توانست تصمیم بگیرد چه چیزی را به خاطر بسپارد و چه چیزی را فراموش کند، و دقیقا همین جا توجه برتری داشت. انتخاب گری؛ ایده ای که مامبا را ساخت}

در دسامبر ۲۰۲۳، آلبرت گو و تری دائو مدل مامبا را معرفی کردند. ایده مرکزی مامبا، انتخاب گری است: پارامترهای مدل، یعنی ماتریس های ورودی و خروجی و اندازه گام، تابعی از همان توکنی می شوند که مدل در آن لحظه می خواند. به زبان ساده، مدل در هر قدم تصمیم می گیرد اطلاعات تازه را وارد حالت کند یا نادیده بگیرد؛ درست مثل توجه، اما با هزینه خطی. اجرای سریع این انتخاب گری با یک الگوریتم اسکن موازی آگاه از سخت افزار انجام می شود که حالت های میانی را در حافظه سریع تراشه نگه می دارد. نتیجه، مدلی بدون توجه با تا پنج برابر توان عملیاتی بیشتر از ترنسفورمر و مقیاس خطی با طول دنباله بود. مامبا سه میلیارد پارامتری از ترنسفورمرهای هم اندازه خود بهتر عمل کرد و با ترنسفورمرهایی دو برابر اندازه خودش برابری کرد.

مامبا ۲ و دوگانگی فضای حالت

_{در مه ۲۰۲۴، دائو و گو در مقاله مامبا ۲ نشان دادند که مدل فضای حالت انتخابی و توجه خطی، دو روی یک سکه اند و هر دو را می توان به صورت یک ماتریس نیمه جدایی پذیر ساخت یافته نوشت. این چارچوب، دوگانگی فضای حالت، اجازه داد لایه مامبا به شکل ضرب ماتریسی بازنویسی شود و از هسته های تنسور پردازنده گرافیکی بهره ببرد. مامبا ۲ دو تا هشت برابر سریع تر از اسکن انتخابی مامبا آموزش می دید و حالت بازگشتی آن تا هشت برابر بزرگ تر بود. در مقایسه با فلش اتنشن ۲، مامبا ۲ در طول دو هزار توکن برابر شد و در طول ۱۶ هزار توکن شش برابر سریع تر بود. ترکیب؛ راه عملی پیش رو}

با این همه، مدل های فضای حالت خالص هنوز در بازیابی دقیق جزئیات از دل متن بلند، از ترنسفورمر عقب می مانند. راه حلی که در عمل پیروز شد، ترکیب است. شرکت ای آی ۲۱ در مارس ۲۰۲۴ مدل جمبا را معرفی کرد؛ نخستین مدل تولیدی با ترکیب لایه های مامبا، توجه ترنسفورمر و ترکیب متخصص ها. جمبا با ۵۲ میلیارد پارامتر کلی و تنها ۱۲ میلیارد پارامتر فعال، پنجره زمینه ۲۵۶ هزار توکنی ارائه داد و تا ۱۴۰ هزار توکن را روی یک پردازنده گرافیکی ۸۰ گیگابایتی جای داد؛ توان عملیاتی آن در متن های بلند سه برابر میکسترال ۸ در ۷ میلیاردی بود. پیام جمبا روشن است: آینده، جایگزینی کامل ترنسفورمر نیست؛ ترکیب هوشمندانه لایه هایی است که هرکدام در کاری بهترین اند.

_{جمع بندی مامبا ثابت کرد توجه، تنها راه ساختن مدل زبانی قدرتمند نیست. از اس فور تا مامبا ۲، پژوهشگران نشان دادند که می توان حافظه مدل را در یک حالت فشرده نگه داشت و با هزینه ای خطی، متن هایی بسیار بلندتر از قبل را خواند؛ پرسش امروز، انتخاب ترکیب درست معماری هاست. بهزاد حسین عباسی، بنیانگذار اپراتوری هوش مصنوعی و اپراتوری ابرهوش}