شباهت یابی بین زبانی جملات فارسی-انگلیسی با استفاده از یادگیری عمیق

شباهت یابی معنایی متون یکی از زیرشاخه های پردازش زبان طبیعی محسوب می شود که در چند سال اخیر تحقیقات گسترده ای را به خود معطوف کرده است. سنجش تشابه معنایی بین کلمات یا اصطلاحات، جملات، پاراگراف و اسناد، نقش مهمی در پردازش زبان طبیعی و زبان شناسی رایانشی ایفا می کند. شباهت یابی معنایی متون در سامانه های پرسش و پاسخ، کشف تقلب، ترجمه ماشینی، بازیابی اطلاعات و نظیر آن کاربرد دارد. منظور از شباهت یابی معنایی، محاسبه میزان شباهت معنایی بین دو سند متنی، پاراگراف یا جمله می باشد که به دو صورت تک زبانه و چندزبانه مطرح است. در این مقاله با استفاد از پیکره موازی میزان، برای اولین بار مدل بین زبانی شباهت معنایی جملات فارسی-انگلیسی را ارائه داده و در ادامه مدل خود را با مدل برت چندزبانه مورد آزمون و مقایسه قرار دادیم. نتایج حاکی از آن است که با استفاده از پیکره های موازی می توان کیفیت تعبیه جملات را در دو زبان مختلف بهبود بخشید. در روش پیشنهادی، معیار همبستگی پیرسون بر اساس شباهت کسینوسی بین بردارهای معنایی حاصل از برت چندزبانه از ۶۵ درصد به ۷۳.۷۷ درصد افزایش یافته است. روش پیشنهادی بر جفت زبان عربی-انگلیسی نیز مورد آزمون قرار گرفت که نتایج حاصله بیانگر برتری روش پیشنهادی نسبت به برت چند زبانه است.

کلیدواژه ها:

پردازش زبان طبیعی ، شباهت معنایی ، بین زبانی ، یادگیری عمیق