مروری تحلیلی بر مدلهای مبتنی بر ترنسفورمر در تحلیل احساسات: مطالعه مقایسه ای بر روی BERT، ROBERTa، DistilBERT و XLNet

تحلیل احساسات یکی از حوزه های مهم پردازش زبان طبیعی است که به شناسایی و تفسیر احساسات موجود در متون انسانی می پردازد. روش های سنتی مانند الگوریتم های یادگیری ماشین کلاسیک و شبکه های عصبی اولیه به دلیل وابستگی به مهندسی ویژگی و ضعف در درک وابستگی های بلندمدت دقت محدودی داشتند. با ظهور معماری ترنسفورمر و مدل هایی مانند RoBERTa، GPT و BERT، بزرگ امکان تحلیل دقیق تر روابط معنایی و نحوی در متون فراهم شد. این مقاله با معرفی جامع مدل های مبتنی بر ترنسفورمر در تحلیل احساسات در زبان های مختلف و روی مجموعه داده های متنوع، یک مطالعه موردی انجام شده با استفاده از مجموعه داده توییتر برای ارزیابی چهار مدل پرکاربرد BERT، ROBERTa، DistilBERT و XLNet تحت شرایط آزمایشی یکسان. نتایج نشان می دهد که BERT نسبت به سایرین عملکرد بهتری داشته و دقت ۸۹% و امتیاز F۱ برابر با ۰.۸۹ را بدست آورده است. یافته ها تایید می کند که مدل های مبتنی بر ترنسفورمر با بهره گیری از خودتوجهی و پردازش موازی، به طور قابل توجهی از روش های سنتی در تشخیص احساسات پیچیده پیشی می گیرند.

کلیدواژه ها:

تحلیل احساسات ، مدل های ترنسفرمر ، پردازش زبان طبیعی ، BERT