مروری بر روش های تشابه متن

با توجه به توليد روزافزون داده های متنی، پردازش آنها اهميت زیادی در بسياری از کاربردها دارد. یكی از زمينه های مهم در پردازش متن اندازه گيری شباهت متن که در کاربردهای مختلف مت نکاوی نظير دسته بندی متن، خلاصه سازی ، سيستم های پرسش و پاسخ، و غيره نقش مهمی در عملكرد مدل ها دارد. با توجه به اهميت موضوع، در این مقاله مروری بر روش های محاسبه شباهت متن انجاممی شود . این روش ها به طور کلی به دو دسته روش های سنتی که مبتنی بر کلمات عمل می کنند که خود به گروه کلی روش های مبتنی بر شباهت لغوی و شباهت معنایی تقسيم می شوند. همچنين روش های جدیدی مبتنی بر شبكه های عصبی و یادگيری عميق برای اندازه گيری تشابه متن در سطح کلمه و جمله در سال های اخير ارائه شده است

کلیدواژه ها:

شباهت جمله ، شباهت متن ، شباهت معنایی ، شبکه ی عصبی ، اطلاعات معنایی ، اطلاعات نحوی ، شباهت مبتنی بر رشته