تحلیل و بررسی معماری مدلهای زبانی بزرگ و کاربرد آنها در تحلیل احساسات زبانهای کم منبع بویژه زبان فارسی

تحلیل احساسات به عنوان یکی از وظایف حیاتی پردازش زبان طبیعی در سالهای اخیر با ظهور مدلهای زبانی بزرگ مبتنی بر معماری ترنسفورمر دستخوش تحولات عظیمی شده است. با این حال این موفقیتهای بزرگ عمدتا محدود به زبانهای پرمنبع بوده و زبانهای کم منبع همچنان با چالشهای ریشه ای مانند کمبود داده های آموزشی برچسب دار، فقدان ابزارهای پیشرفته و مسائل ساختاری نظیر پدیده آمیختگی کد مواجه هستند. این مقاله مروری جامع با هدف بررسی چگونگی استفاده از معماری و قابلیتهای مدلهای زبانی بزرگ برای غلبه بر این موقعیت ها در تحلیل احساسات زبان های کم منبع انجام شده است. ما ابتدا سیر تکامل مدلهای زبانی بزرگ، از مدلهای آماری تا ترنسفورمر، از جمله مدل های تنها رمزگذار و تنها رمزگشا را مرور می کنیم و بر نقش مکانیزم خودتوجهی به عنوان هسته این معماری تاکید می کنیم. در ادامه تمرکز مقاله بر دو رویکرد کلیدی در محیط های کم منبع معطوف می شود: یادگیری انتقالی برون زبانی که از بازنمایی های چند زبانه مدلهای زبانی بزرگ استفاده می کند و روش های یادگیری با داده کم نظیر صفر نمونه و چند نمونه که از طریق تنظیم پرامپت امکان انجام وظیفه بدون یا با حداقل داده آموزشی را فراهم می آورند. در نهایت این مقاله ضمن مقایسه عملکرد این رویکردها در تحلیل احساسات زبان های کم منبع، چالش های باقی مانده از جمله سوگیری مدل و نیاز به مدیریت کارآمد منابع محاسباتی را شناسایی کرده و مسیرهای پژوهشی آینده برای دستیابی به عدالت زبانی در حوزه پردازش زبان طبیعی را پیشنهاد می نماید.

کلیدواژه ها:

مدلهای زبانی بزرگ (Large Language Models) ، تحلیل احساسات (Sentiment Analysis) ، زبانهای کم منبع ، یادگیری صفر-نمونه (Zero-Shot Learning) ، ترنسفورمر (Transformer)