مروری بر یادگیری بازنمایی در حوزه پردازش زبان طبیعی؛ پیشرفتها و تحولات

یادگیری بازنمایی (Representation Learning) طی سالیان اخیر به عنوان بنیانی دگرگون ساز در یادگیری ماشین و پردازش زبان طبیعی، نقشی اساسی در ارتقای سامانه های هوشمند ایفا نموده است. این مقاله مروری دگرگونی بازنمایی را از روشهای آماری و ویژگیهای دست ساز تا شبکههای عصبی مصنوعی و مدلهای زبانی از پیش آموزش دیده (Pre-trained Language Models) بررسی مینماید. در این رویکرد بازنمایی در ابعاد چنددانه ای چندتسکی و چند حوزه ای و نیز در سطوح گوناگون زبانی شامل کلمه، عبارت، جمله و سند تحلیل می گردد. مرور پژوهشها بیانگر ایجاد زمینه های نو جهت ارتقای عملکرد مدلهای NLP از طریق یادگیری خودنظارتی (Self-Supervised Learning) و بازنمایی توزیع شده (Distributed Representation) است.

کلیدواژه ها:

یادگیری بازنمایی ، پردازش زبان طبیعی ، بازنمایی توزیع شده ، مدل های زبانی از پیش آموزش دیده ، یادگیری خودنظارتی