مدل های زبانی چندوجهی: وقتی هوش مصنوعی هم می بیند، هم می خواند

مقدمه: پرسش اصلی

تا چند سال پیش، بیشتر مدل های زبانی فقط با متن کار می کردند: جمله ای می گرفتند و جمله ای تحویل می دادند. اما تجربه انسانی هرگز فقط متنی نیست. ما هم زمان می بینیم، می شنویم، می خوانیم و از ترکیب این حس ها معنا می سازیم. پرسش این یادداشت همین است: آیا می توان مدلی ساخت که تصویر و متن را نه در دو سامانه جدا، بلکه در یک درک واحد کنار هم بگذارد؟ پاسخ این پرسش، به خانواده ای از مدل ها به نام مدل های زبانی چندوجهی رسیده است؛ مدل هایی که امروز در ابزارهای تولید محتوا، جست وجوی تصویری، آموزش و دستیارهای دیجیتال به کار می روند.

 چندوجهی بودن یعنی چه؟

در ادبیات هوش مصنوعی، «وجه» یا مودالیته به نوع داده گفته می شود: متن، تصویر، صدا و ویدئو هرکدام یک وجه اند. مدلی که فقط متن را پردازش کند تک وجهی است و مدلی که دست کم دو وجه را با هم درک کند چندوجهی به شمار می آید. زیرمجموعه مهم این خانواده، مدل های بینایی زبانی هستند که تصویر و متن را با هم پردازش می کنند؛ برای نمونه، عکسی را می بینند و درباره آن توضیح می دهند، به پرسشی درباره جزئیات تصویر پاسخ می دهند یا محتوای یک نمودار را تفسیر می کنند. نکته کلیدی این است که در این مدل ها، تصویر فقط یک فایل ضمیمه نیست، بلکه بخشی از همان «متن ورودی» مدل می شود و استدلال زبانی روی آن شکل می گیرد.

از CLIP تا فلامینگو: سه گام بنیادین

نخستین گام مهم، مدل CLIP بود. الک ردفورد و همکارانش در اوپن ای آی در مقاله «یادگیری مدل های بینایی قابل انتقال از نظارت زبان طبیعی» نشان دادند که می توان با جفت های تصویر و شرح متنی، مدلی آموخت که بدون آموزش اختصاصی برای هر وظیفه تازه، تصویرها را طبقه بندی کند. این مدل روی ۴۰۰ میلیون جفت تصویر و متن از اینترنت آموزش دیده بود و پس از آموزش، با زبان طبیعی می شد به مفاهیم بصری آموخته شده اشاره کرد. به بیان ساده، CLIP به ماشین آموخت که تصویر و جمله مرتبط با آن را در یک فضای معنایی مشترک قرار دهد؛ جایی که تصویر یک گربه و جمله «یک گربه نارنجی روی مبل» به یکدیگر نزدیک اند.

گام دوم، فلامینگو از دیپ مایند بود. ژان باپتیست الایراک و همکارانش در مقاله «فلامینگو: مدلی زبانی بصری برای یادگیری با نمونه های اندک» مدلی معرفی کردند که دنباله هایی از متن و تصویر درهم تنیده را می گیرد و متن آزاد تولید می کند. نوآوری فلامینگو در این بود که یک رمزگذار بینایی و یک مدل زبانی از پیش آموزش دیده را با لایه های توجه متقابل و سازوکاری به نام «بازنمونه گیر ادراکی» به هم وصل می کرد، بی آنکه مدل زبانی از صفر بازآموزی شود. نتیجه این بود که بزرگ ترین نسخه فلامینگو، با تنها چند مثال در ورودی، روی ۶ مورد از ۱۶ وظیفه بررسی شده از مدل های تخصصی ریزتنظیم شده بهتر عمل کرد.

گام سوم، LLaVA بود. هاوتیان لیو و همکارانش در مقاله «تنظیم دستوری بصری» نشان دادند که می توان با داده های دستوری تولیدشده به کمک GPT-4، یک رمزگذار بینایی CLIP را از راه یک لایه نگاشت سبک به یک مدل زبانی وصل کرد و دستیاری عمومی برای درک تصویر و زبان ساخت. در آزمایش های اولیه، LLaVA در یک مجموعه داده مصنوعی دستورهای چندوجهی، امتیازی نسبی برابر با ۸۵٫۱ درصد امتیاز GPT-4 به دست آورد و در ترکیب با GPT-4 روی مجموعه ScienceQA به دقت ۹۲٫۵۳ درصد رسید. اهمیت LLaVA در این بود که راه ساخت مدل چندوجهی را برای پژوهشگران و تیم های کوچک تر هم باز کرد؛ دیگر لازم نبود همه چیز از صفر و با منابع عظیم ساخته شود.

معماری در یک نگاه

با وجود تفاوت های جزئی، بیشتر این مدل ها سه جزء مشترک دارند. نخست، رمزگذار بینایی که تصویر را به قطعه های کوچک تقسیم می کند و هر قطعه را به یک بردار عددی تبدیل می کند. دوم، «اتصال دهنده» که این بردارهای بصری را به فضای واژگانی مدل زبانی می برد؛ این اتصال دهنده گاهی یک لایه نگاشت ساده است، گاهی سازوکاری پرسش محور مانند Q-Former در BLIP-2 و گاهی لایه های توجه متقابل مانند فلامینگو. سوم، خود مدل زبانی که توکن های متن و تصویر را کنار هم می خواند و پاسخ را واژه به واژه تولید می کند. در مدل های «بومی چندوجهی» مانند جمینای گوگل، این ترکیب از آغاز آموزش در یک معماری یکپارچه شکل می گیرد، در حالی که در مدل های ترکیبی، اجزای از پیش آموزش دیده به هم وصل می شوند. هر دو رویکرد، یک هدف دارند: اینکه «دیدن» و «گفتن» در یک استدلال واحد به هم برسند.

یک مثال عینی برای تولیدکنندگان محتوا

فرض کنید برای یک برند ایرانی، تصویری تبلیغاتی از یک محصول طراحی شده است؛ برای نمونه، بسته بندی یک دمنوش گیاهی روی میز چوبی، کنار یک لیوان شیشه ای. پیش تر، برای بررسی این تصویر باید چشم انسان تک تک جزئیات را کنترل می کرد: آیا نام محصول روی بسته خواناست؟ آیا رنگ بسته با هویت بصری برند هماهنگ است؟ آیا سایه ها طبیعی اند و عنصر اضافه ای در کادر نیست؟ با یک مدل چندوجهی می توان همین بررسی را به صورت یک گردش کار ساخت یافته انجام داد. نخست، تصویر و یک «چک لیست» متنی به مدل داده می شود؛ برای نمونه، «متن روی بسته را بخوان، رنگ غالب را توصیف کن و هر ناهماهنگی بصری را فهرست کن.» سپس مدل خروجی ای ساخت یافته می دهد که طراح می تواند آن را با نسخه قبلی مقایسه کند. در گام بعد، می توان از مدل خواست برای همان تصویر، سه شرح متفاوت بنویسد: یکی کوتاه برای شبکه های اجتماعی، یکی توصیفی برای فروشگاه اینترنتی و یکی آموزشی درباره روش دم کردن. این گردش کار، جایگزین قضاوت انسانی نیست، اما سرعت بازبینی را بالا می برد و خطاهای ساده دیداری را پیش از انتشار آشکار می کند.

محدودیت ها را جدی بگیریم

چندوجهی بودن به معنای بی خطا بودن نیست. نخست، توهم چندوجهی وجود دارد: مدل ممکن است چیزی را در تصویر «ببیند» که واقعا آنجا نیست، یا متنی را روی بسته بخواند که اشتباه است. دوم، کیفیت خروجی به کیفیت تصویر وابسته است؛ نور کم، تاری یا برش نامناسب می تواند استدلال مدل را منحرف کند. سوم، سوگیری داده های آموزشی می تواند به تصویرها هم سرایت کند؛ برای نمونه، مدل ممکن است برخی صحنه ها یا افراد را به شیوه ای کلیشه ای توصیف کند. چهارم، مسئله حریم خصوصی و داده های حساس است: فرستادن تصویرهای شخصی یا محرمانه به یک سرویس ابری، حتی برای یک بررسی ساده، نیازمند احتیاط است. بنابراین در کاربردهای حرفه ای، خروجی مدل چندوجهی باید مانند پیش نویس یک همکار تازه کار دیده شود: مفید، سریع، اما نیازمند بازبینی انسان.

نتیجه گیری

مدل های زبانی چندوجهی، مرز میان «خواندن» و «دیدن» را در هوش مصنوعی کم رنگ کرده اند. از CLIP که تصویر و متن را در یک فضای مشترک نشاند، تا فلامینگو که یادگیری با نمونه های اندک را به دنیای تصویر آورد، و تا LLaVA که ساخت چنین مدل هایی را در دسترس تر کرد، مسیر روشنی دیده می شود: هرچه پیوند میان وجه های داده محکم تر شود، ابزارهای تولید محتوا دقیق تر، سریع تر و به تجربه انسانی نزدیک تر می شوند. برای تولیدکنندگان محتوا، پرسش دیگر این نیست که آیا از این مدل ها استفاده کنیم یا نه، بلکه این است که در کدام مرحله از گردش کار، با چه چک لیستی و با چه سطحی از بازبینی انسانی، آن ها را به کار بگیریم.