Improving Persian Word Embeddings Using Cross-Lingual Joint Space

سال انتشار: 1398
نوع سند: مقاله کنفرانسی
زبان: انگلیسی
مشاهده: 692

متن کامل این مقاله منتشر نشده است و فقط به صورت چکیده یا چکیده مبسوط در پایگاه موجود می باشد.
توضیح: معمولا کلیه مقالاتی که کمتر از ۵ صفحه باشند در پایگاه سیویلیکا اصل مقاله (فول تکست) محسوب نمی شوند و فقط کاربران عضو بدون کسر اعتبار می توانند فایل آنها را دریافت نمایند.

استخراج به نرم افزارهای پژوهشی:

لینک ثابت به این مقاله:

شناسه ملی سند علمی:

ICIKT10_059

تاریخ نمایه سازی: 5 بهمن 1398

چکیده مقاله:

In this paper, cross-lingual word embeddings method is introduced to improve quality of monolingual Persian word embeddings. The main idea of the paper is that as Persian is low resource language, a high resource language like English can enhance Persian word embeddings in a cross-lingual space. Therefore, English monolingual word embeddings are used to create a joint space with Persian one. MUSE and VecMap method as the two state of the art approaches are applied to transfer Persian word embeddings to English word embeddings space in a supervised mode. A 5k bilingual English-Persian is utilized as the supervision. In addition, the English Kudkudak evaluation benchmark is customized to assess Persian monolingual word embeddings. The customized benchmark evaluates word embeddings in three tasks, namely categorization, analogy, and word similarity. According to analysis, the cross-lingual transfer can increase monolingual Persian word embeddings without any extra train data. In comparison with MUSE, VecMap can align Persian word embeddings to English in a more effective way. As a result, VecMap outperforms MUSE in enhancing Persian word embeddings. The Persian cross-lingual word embeddings show improvements in categorization and analogy tasks.

نویسندگان

Mohammad Aliramezani

Student Computational Linguistics Group Sharif University of Technology Tehran, Iran

Mohammad Hadi Bokaei

Assistant Professor Information Technology Department ICT Research Institute Tehran, Iran

Hossein Sameti

Associate Professor Computer Engineering Department Sharif University of Technology Tehran, Iran