A Comparative Study of BERT-X for Sentiment Analysis and Stance Detection in Persian Social Media
- سال انتشار: 1403
- محل انتشار: مجله بین المللی ارتباطات و فناوری اطلاعات، دوره: 16، شماره: 3
- کد COI اختصاصی: JR_ITRC-16-3_002
- زبان مقاله: انگلیسی
- تعداد مشاهده: 125
نویسندگان
Department of Computer Engineering Amirkabir University of Technology Tehran, Iran
Department of Computer Engineering Amirkabir University of Technology Tehran, Iran
Department of Computer Engineering Amirkabir University of Technology Tehran, Iran
چکیده
BERT-based models have gained popularity for addressing various NLP tasks, yet the optimal utilization of knowledge embedded in distinct layers of BERT remains an open question. In this paper, we introduce and compare diverse architectures that integrate the hidden layers of BERT for text classification tasks, with a specific focus on Persian social media. We conduct sentiment analysis and stance detection on Persian tweet datasets. This work represents the first investigation into the impact of various neural network architectures on combinations of BERT hidden layers for Persian text classification. The experimental results demonstrate that our proposed approaches can outperform the vanilla BERT that utilizes an MLP classifier on top of the corresponding output of the CLS token in terms of performance and generalization.کلیدواژه ها
BERT, Persian Text Classification, Social Media, Sentiment Analysis, Stance Detection, CNN, LSTMاطلاعات بیشتر در مورد COI
COI مخفف عبارت CIVILICA Object Identifier به معنی شناسه سیویلیکا برای اسناد است. COI کدی است که مطابق محل انتشار، به مقالات کنفرانسها و ژورنالهای داخل کشور به هنگام نمایه سازی بر روی پایگاه استنادی سیویلیکا اختصاص می یابد.
کد COI به مفهوم کد ملی اسناد نمایه شده در سیویلیکا است و کدی یکتا و ثابت است و به همین دلیل همواره قابلیت استناد و پیگیری دارد.