بهبود تحلیل احساسات در متن فارسی براساس ترکیبی از رمزگذار خودکار پشتهای و Transformer -BiLSTM -CNN

سال انتشار: 1403
محل انتشار: دومین کنفرانس بین المللی هوش مصنوعی و فناوری های آینده نگر
کد COI اختصاصی: ICAIFT02_034
زبان مقاله: فارسی
تعداد مشاهده: 64

نویسندگان

استادیار گروه مهندسی کامپیوتر، واحد تهران غرب، دانشگاه آزاد اسلامی

دانش آموخته ارشد مهندسی کامپیوتر، واحد تهران غرب، دانشگاه آزاد اسلامی

چکیده

با توسعه روزافزون شبکههای اجتماعی، کاربران نظرات خود را درباره محصولات و رویدادهای مختلف ثبت میکنند. تحلیل احساسات متنی، فرآیندی است که به شناسایی و طبقهبندی احساسات مثبت و منفی در متون میپردازد و کاربردهای فراوانی در پیشبینی نیازهای بازار و بهبود خدمات دارد. با توجه به حجم زیاد نظرات، استفاده از روشهای یادگیری عمیق برای تحلیل خودکار احساسات ضروری است. یادگیری عمیق به دلیل توانایی در استخراج خودکار ویژگیها از دادههای پیچیده، در تحلیل احساسات متنی استفاده میشود. فضلی واحید و همکاران مدلی ترکیبی ارائه کردند که از SAE برای استخراج ویژگیها و LSTM برای طبقهبندی استفاده میکند، و با دادههای سایت IMDB دقت۸۷ درصدی را ثبت کرد. مریگانک شوکال و آخیل کومار مدل Transformer -BiLSTM -CNN را با دقت ۸۹.۰۴ درصد بر روی مجموعه دادهی SST-۲ به عنوان بهترین ترکیب یافتند، که الیهی رمزگذار Transformer دقت را۲ تا۳ درصد افزایش داد. سکرین تام و همکاران نیز ترکیب CNN و Bi-LSTM را پیشنهاد دادند که با Word۲Vec روی دادههای توییتر به دقت ۹۴.۱۳ درصد دستیافتند. شفیق و همکاران با استفاده از AraBert و CRF در تحلیل احساس جنبهگرا به امتیاز F۱ معادل ۹۵.۱۱ درصد دستیافتند، که بهبود قابل توجهی بود. پژوهش حاضر با هدف بهبود تحلیل احساسات در متن فارسی، ترکیبی از مدلهای رمزگذار خودکار پشتهای ( SAE )برای استخراج ویژگیها و مدل ترکیبی Transformer -BiLSTM -CNN برای طبقهبندی احساسات را ارائه میدهد. برای پیشپردازش دادههای فارسی شامل پاکسازی دادهها، حذف موارد نامعتبر و تکرار ی، و توکنایز کردن متنها از مدل ParsBert .استفاده شده است SAE از به کارگیری یک رویکرد یادگیری الیهای بر روی چندین رمزگذار خودکار تشکیل شده است. این مدل شامل الیههای متراکم برای فشردهسازی دادهها و بازساز ی آنهاست. الیههای رمزگذار و رمزگشا با استفاده از توابع فعالسازی ReLU و سیگموئید، ویژگیهای کلیدی را استخراج و بازسازی میکنند. مدلهای تبدیلکننده ( Transformer) نیز با استفاده از سازوکار توجه به بهبود نتایج تحلیل کمک میکنند. این مدل شامل بلوکهای رمزگذار و رمزگشا است و ویژگیهای استخراج شده توسط SAE را پردازش میکنند. سپس به طور موازی، BI-LSTM به بهبود مدلسازی متوالی کمک میکند و CNN به استخراج ویژگیهای محلی از دادهها میپردازد . BI-LSTM یک نوع از شبکه های عصبی بازگشتی است که اطلاعات گذشته و آینده را بهطور همزمان حفظ کرده و زم ینه را بهتر درک میکند. CNN یک مدل شبکهعصبی پیش خور با توانایی محاسبات موازی است که به شکل خودکار ویژگیها را استخراج میکند. سپسخروجی های BiLSTM و CNN با هم ادغام شده و به الیههای متراکم و خروجی متصل می شوند. این مدل با بهینهساز Adam برای طبقهبندی آموزش داده میشود. در نهایت، مدل آموزش دیده برای پیشبینی احتماالت تعلق هر نمونه به کلاس های مختلف استفاده میشود. ما خروجی مدل پیشنهاد ی را با مدلهای Transformer -BiLSTM -CNN ، SAE -LSTM ویک مدل سادهی CNN مقایسه کردیم. مدلها را مشابه مدل پیشنهاد ی توسعه دادیم و نیز از دادههای فارسی یکسان استفاده کردیم. با دادههای طاقچه، مدل پیشنهاد ی در دقت ۵۲.۰۸۸% و صحت ۵۲.۱۰۵% نسبت به مدلهای Transformer -BiLSTM -CNN با دقت۵۰% و صحت۵۰% و مدل SAE -LSTM با دقت ۵۰.۳۶۸% و صحت ۵۰.۲۰۶% بهبودیافته و همچنین با یادآوری ۵۲.۰۸۸% نسبت به مدل Transformer -BiLSTM -CNN با یادآوری ۵۰% عملکرد بهتری دارد. با دادههای دیجیکالا ، مدل پیشنهاد ی در دقت ۵۰.۲۶۱% ویادآوری ۵۰.۲۶۱% نسبت به مدل CNN با دقت ۴۷.۶۴% ویادآوری ۴۶.۸۸% .بهبود داشته است همچنین، امتیاز F۱ ( ۵۰.۲۵۹%) نیز نسبت به مدلهای SAE -LSTM ( ۴۵.۷۹۷%) و CNN ( ۴۷.۳۷% )، عملکرد بهتری داشته است. با دادههای توییتر فارسی ، مدل پیشنهاد ی با یادآوری ۵۶.۲۸۱% نسبت به مدلهای SAE -LSTM ( ۴۹.۷۴۸% ) و CNN ( ۵۵.۵۶% )، عملکرد بهتری داشته است. همچنین، در امتیاز F۱ ( ۵۶.۲۸۱%) نیز نسبت به مدل SAE -LSTM ( ۳۳.۰۵۴% ) بهبود قابلتوجهی نشان داده و عملکرد متعادلی نسبت به مدلهای دیگر داشته است.

کلیدواژه ها

تبدیل کننده, رمزگذار خودکار پشتهای, تحلیل احساسات, استخراج ویژگی

مقالات مرتبط جدید

اطلاعات بیشتر در مورد COI

COI مخفف عبارت CIVILICA Object Identifier به معنی شناسه سیویلیکا برای اسناد است. COI کدی است که مطابق محل انتشار، به مقالات کنفرانسها و ژورنالهای داخل کشور به هنگام نمایه سازی بر روی پایگاه استنادی سیویلیکا اختصاص می یابد.

کد COI به مفهوم کد ملی اسناد نمایه شده در سیویلیکا است و کدی یکتا و ثابت است و به همین دلیل همواره قابلیت استناد و پیگیری دارد.