تبدیل متن محاوره ای به رسمی فارسی با استفاده از شبکه های عصبی مبتنی بر مبدل

سال انتشار: 1401
نوع سند: مقاله ژورنالی
زبان: فارسی
مشاهده: 478

فایل این مقاله در 23 صفحه با فرمت PDF قابل دریافت می باشد

این مقاله در بخشهای موضوعی زیر دسته بندی شده است:

استخراج به نرم افزارهای پژوهشی:

لینک ثابت به این مقاله:

شناسه ملی سند علمی:

JR_LSI-18-35_003

تاریخ نمایه سازی: 18 مهر 1402

چکیده مقاله:

در دنیای امروز شاهد رشد تولید داده ‎های مختلف از جمله داده های متنی هستیم و همواره حجم زیادی از داده‎ های متنی به روش های مختلف به خصوص در شبکه ‎های اجتماعی تولید می‎ شود. ولی این متن ‎ها غالبا غیررسمی و دارای خطاهای بسیاری هستند که باعث می ‎شود امکان استفاده از آنها در بسیاری از پردازش‎ های زبان طبیعی وجود نداشته باشد. در این مقاله به تبدیل متن محاوره ای به متن رسمی در زبان فارسی پرداخته شده است. برای این منظور دو مدل مختلف براساس مدل کدگذار-کدگشا و مدل مبدل که از به روزترین مدل های دنباله-به-دنباله هستند پیاده سازی شده اند. در کنار استفاده از مدل های شبکه عصبی، مجموعه ای از قواعد در تبدیل متن محاوره ای به رسمی فراهم شده اند و تاثیر استفاده از این قواعد در کنار هر یک از دو مدل بررسی شده است. در انتها نتایج مدل های گفته شده مقایسه شده اند که در بهترین حالت این نتایج به دست آمده به دقت ۷۰.۷ درصد در معیار بلوی ارتقاء یافته رسیده اند.

کلیدواژه ها:

پردازش زبان طبیعی ، تبدیل محاوره ای به رسمی ، مدل کدگذار-کدگشا ، مدل مبدل

نویسندگان

مجید ادیبیان

دانشجو، دانشکده مهندسی کامپیوتر، دانشگاه صنعتی امیرکبیر

سعیده ممتازی

دانشیار، دانشکده مهندسی کامپیوتر، دانشگاه صنعتی امیرکبیر