مدل سازی زبانی مبتنی بر شبکه های عصبی

مدل های زبانی به انتساب احتمال به کلمات در دنباله های لغات می پردازند که از این احتمالات در پیش بینی کلمه بعدی در کاربردهای مختلف پردازش زبان استفاده می شود. ساده ترین مدل های زبانی یعنی مدل های n-تایی، وابستگی های دور میان کلمات را درنظر نمی گیرند. یکی از راه های رفع این مشکل، مدل سازی زبانی با شبکه عصبی است. از انواع مختلف شبکه های عصبی مانند شبکه های جلورو و شبکه های بازگشتی برای مدل سازی زبانی استفاده می شود. شبکه های عصبی از بردارهای حاصل از جاسازی کلمات در ورودی خود استفاده می کنند که قدرت تعمیم شبکه را در مدل سازی افزایش می دهد. در این پژوهش از نوع خاصی از شبکه های بازگشتی به نام شبکه های عصبی با حافظه کوتاه مدت ماندگار (LSTM) برای مدل سازی زبان فارسی استفاده شده است. در شبکه های LSTM، به جای نرون های معمولی از واحدهای حافظه استفاده می شود که مشکل محوشدن گرادیان را در شبکه های بازگشتی استاندارد حل می کند. شبکه های LSTM یک طرفه و دوطرفه با استفاده از یک پیکره متنی ۱۰۰ میلیون کلمه ای فارسی آموزش داده شده اند. این شبکه ها دارای ۳۰ هزار نرون در لایه های ورودی و خروجی، به تعداد کلمات واژگان و دو لایه مخفی می باشند. مدل زبانی حاصل از این شبکه ها حدود ۵۷% کاهش در سرگشتگی را نسبت به مدل پایه سه تایی نشان داده اند.

کلیدواژه ها:

مدل سازی زبانی ، شبکه های عصبی ، شبکه حافظه کوتاه مدت ماندگار