ارائه یک رویکرد ترکیبی جدید برای یافتن بردارهای پایه معنادار جهت بازنمایی صریح بردارهای کلمه

سال انتشار: 1401
نوع سند: مقاله ژورنالی
زبان: فارسی
مشاهده: 141

فایل این مقاله در 18 صفحه با فرمت PDF قابل دریافت می باشد

استخراج به نرم افزارهای پژوهشی:

لینک ثابت به این مقاله:

شناسه ملی سند علمی:

JR_JSCIT-11-1_001

تاریخ نمایه سازی: 25 مهر 1403

چکیده مقاله:

هدف اصلی این پژوهش بازنمایی صریح بردارهای معنایی کلمه با ابعاد کم است. برای تولید بردارهای معنایی کلمه صریح، بایستی مسئله­ی یافتن تعداد محدودی بردار پایه معنادار به­گونه­ای حل شود که با کاهش ابعاد بردارهای کلمه افت دقت زیادی ایجاد نشود. ما در این پژوهش یک رویکرد ترکیبی برای یافتن بردارهای پایه معنادار ارائه می­کنیم. در ابتدا، N بردار پایه را با روش­های پیشنهادی ۱-معیار نسبت شباهت کلمه به تکرار کلمه، ۲-انتخاب ویژگی مبتنی بر مقایسه ماتریس­های فاصله، ۳-وز­ن­دهی دودویی مبتنی بر الگوریتم BPSO بدست می­آوریم. سپس، برای بهره گیری از خبرگی روش های ۱و ۲ به میزان یکسان، نیمی از بردارهای پایه بدست آمده با روش معیار نسبت شباهت کلمه به تکرار کلمه را با نیمی از بردارهای پایه انتخاب شده با روش انتخاب ویژگی، ترکیب کرده و  بردارهای پایه ترکیبی اول را بدست می­آوریم. در مرحله بعدی، کلمات بافتار مشترک دارای وزن "۱" بدست آمده  با استفاده از روش BPSO را به بردارهای پایه ترکیبی اول حاصل از  روش­های نسبت شباهت کلمه به تکرار کلمه و روش انتخاب ویژگی می­افزاییم. بنابراین، بردارهای پایه ترکیبی دوم بدست می آیند که معنادار هستند و هر بردار پایه معادل یک کلمه بافتار آگاهی­بخش است. لذا بردارهای کلمه صریح تولید شده با استفاده از بردارهای پایه معنادار، تفسیرپذیر هستند. ما رویکرد پیشنهادی را با استفاده از پیکره UkWaC آموزش داده و بر روی وظیفه شباهت کلمه­ مورد ارزیابی قرار می­دهیم. هر دو بردارهای پایه ترکیبی اول و دوم سبب بهبود دقت می گردند. این افزایش دقت در بردارهای پایه ترکیبی اول بیشتر است. نتایج حاصل از ارزیابی بردارهای کلمه صریح بدست آمده با بردارهای پایه اول نشان می­دهد که با وجود کاهش ابعاد بردارهای کلمه از ۵۰۰۰ به ۱۵۱۱، ضریب همبستگی اسپیرمن بر روی مجموعه­های آزمون MEN، RG-۶۵ و SimLex-۹۹۹ به ترتیب به میزان ۲.۴۷%، ۷.۳۹% و ۰.۵۲% افزایش می یابد.

نویسندگان

Atefe Pakzad

دانشکده مهندسی کامپیوتر، دانشگاه علم و صنعت ایران-تهران

ئخ Analoui

دانشیار، دانشکده مهندسی کامپیوتر، دانشگاه علم و صنعت ایران ، تهران، ایران

مراجع و منابع این مقاله:

لیست زیر مراجع و منابع استفاده شده در این مقاله را نمایش می دهد. این مراجع به صورت کاملا ماشینی و بر اساس هوش مصنوعی استخراج شده اند و لذا ممکن است دارای اشکالاتی باشند که به مرور زمان دقت استخراج این محتوا افزایش می یابد. مراجعی که مقالات مربوط به آنها در سیویلیکا نمایه شده و پیدا شده اند، به خود مقاله لینک شده اند :
  • Lenci, "Distributional models of word meaning", Annual review of Linguistics ۴, pp.۱۵۱-۱۷۱, ...
  • Salton, A. Wong, CS. Yang, "A vector space model for ...
  • Grefenstette, "Category-theoretic quantitative compositional distributional models of natural language semantics", arXiv ...
  • Gamallo, "Comparing explicit and predictive distributional semantic models endowed with ...
  • Baroni, G. Dinu, G. Kruszewski, "Don’t count, predict! a systematic comparison of ...
  • Li, T. Yang, "Word embedding for understanding natural language: a survey", Guide ...
  • Goddard, "Semantic analysis: A practical introduction", Oxford University Press, ۲۰۱۱ ...
  • Huang, R. Socher, CD. Manning, AY. Ng, "Improving word representations via global context ...
  • Andreas, D. Klein, "How much do word embeddings encode about ...
  • Pota, F. Marulli, M. Esposito, G. De Pietro, H. Fujita, ...
  • Rezaeinia, R. Rahmani, A. Ghodsi, H. Veisi, "Sentiment analysis based on ...
  • Ali, D. Kwak, P. Khan, S. El-Sappagh, A. Ali, S. ...
  • O. Deho, A.W. Agangiba, L.F. Aryeh and A.J. Ansah, "Sentiment ...
  • Nozza, P. Manchanda, E. Fersini, M. Palmonari and E. Messina, ...
  • Zhang, M. Tuo, Q. Yin, L. Qi, X. Wang, T. ...
  • Sundermann, J., Antunes, M. Domingues, and S. Rezende, "Exploration of ...
  • Khattar, V. Kumar, V. Varma, M. Gupta, "Weave&rec: A word embedding ...
  • Bagheri, F. Ensan, F. Al-Obeidat, "Neural word and entity embeddings ...
  • Dobó, Csirik, "A comprehensive study of the parameters in the ...
  • Heunen, M. Sadrzadeh, E. Grefenstette, "Quantum physics and linguistics: a ...
  • Kartsaklis, "Compositional operators in distributional semantics", Springer Science Reviews, ۲.۱-۲, ...
  • Levy, Y. Goldberg, I. Dagan, "Improving distributional similarity with lessons ...
  • Bullinaria, JP. Levy, "Extracting semantic representations from word co-occurrence statistics: ...
  • Biemann, M. Riedl, "Text: Now in ۲D! a framework for ...
  • M Padró, M Idiart, A Villavicencio, C. Ramisch, "Nothing like ...
  • Gamallo, S. Bordag, "Is singular value decomposition useful for word ...
  • Hofmann, AM. Jacobs, "Interactive activation and competition models and semantic ...
  • Mikolov, K. Chen, G. Corrado, J. Dean, "Efficient estimation of ...
  • Mikolov, I. Sutskever, K. Chen, GS. Corrado, J. Dean, "Distributed representations of words ...
  • Panigrahi, HV. Simhadri, and C. Bhattacharyya, "Word۲Sense: sparse interpretable word ...
  • Murphy, P. Talukdar, T. Mitchell, "Learning effective and interpretable semantic ...
  • Sun, J. Guo, Y. Lan, J. Xu, X. Cheng, "Sparse word embeddings using l۱ ...
  • Faruqui, Y. Tsvetkov, D. Yogatama, C. Dyer, N. Smith, "Sparse overcomplete word vector ...
  • Subramanian, Pruthi, H. Jhamtani, T. Berg-Kirkpatrick, E. Hovy, "Spine: Sparse interpretable ...
  • Bruni, G. Boleda, M. Baroni, NK. Tran, "Distributional semantics in technicolor", ۵۰th Annual Meeting ...
  • Rubenstein, JB. Goodenough, "Contextual correlates of synonymy", Communications of the ...
  • Hill, R. Reichart, A. Korhonen, "Simlex-۹۹۹: Evaluating semantic models with (genuine) similarity ...
  • Yang, C. Shahabi, "A PCA-based similarity measure for multivariate time ...
  • Kennedy, R. Eberhart, "Particle swarm optimization", ICNN'۹۵-international conference on neural ...
  • Garg, "A hybrid PSO-GA algorithm for constrained optimization problems", Applied ...
  • Kennedy, RC. Eberhart, "A discrete binary version of the particle ...
  • El-Maleh, AT. Sheikh, SM. Sait, "Binary particle swarm optimization (BPSO) based state ...
  • Baroni, S. Bernardini, A. Ferraresi, E. Zanchetta, "The WaCky wide web: a ...
  • نمایش کامل مراجع