بهبود تشخیص موجودیت های نامدار در زبان فارسی با استفاده از مکانیزم توجه

در پردازش زبان طبیعی تشخیص موجودیت های نامدار، فرآیندی است که در آن موجودیت هایی شامل مکان، زمان، اشخاص و سازمان شناسایی می شوند. در این مقاله جهت تشخیص موجودیت های نامدار از یادگیری انتقالی استفاده شده است، مزیت اصلی استفاده از یادگیری انتقالی هنگامی نمایان می شود که مجموعه داده کوچکی در حوزه پژوهشی مورد نظر وجود داشته باشد. شبکه حافظه ی کوتاه مدت طولانی در استخراج اطلاعات از داده هایی که به صورت دنباله ای از کلمات هستند و دارای وابستگی طولانی می باشند، نسبت به شبکه های عصبی بازگشتی بسیار پر کاربرد و دارای عملکرد بالاتری هستند، همچنین استفاده از مکانیزم توجه جهت بدست آوردن برداری که نشان دهنده میزان تاثیر دیگر کلمات در کلمه مورد نظر باشد از اهمیت خاص برخوردار می باشد. در این مقاله برای اولین بار از ترکیب مدل زبانی برت، شبکه حافظه ی کوتاه مدت طولانی، شبکه حافظه ی کوتاه مدت طولانی دوطرفه و مکانیزم توجه به صورت تمرکز بر روی یک کلمه قبل و بعد استفاده گردیده است. نتایج نشان می-دهد استفاده همزمان چندین مورد اشاره شده فوق، همچنین استفاده از رویکرد اصلی مکانیزم توجه در تشخیص موجودیت های نامدار می تواند بهبود عملکرد سیستم را در پی داشته باشد. عملکرد مدل پیشنهادی بر روی دیتاست مورد نظر با در نظر گرفتن معیار F۱-score، ۹۱.۳۴ می باشد.

کلیدواژه ها:

یادگیری عمیق ، مدل زبانی برت ، مکانیزم توجه ، حافظه ی کوتاه مدت طولانی ، حافظه ی کوتاه مدت طولانی دوطرفه