تولید متن ، اندازه گیری کیفیت متن تولید شده

تولید متن یکی از زیر شاخه های پردازش زبان طبیعی و یکی از مسائل مهم در هوش مصنوعی است که مانند سایر حوزههای هوش مصنوعی شامل چالش ها و شکافهایی حل شده و حل نشده می باشد. یکی از چالش های مهم درحوزهی تولید داده (متن ، تصویر، صدا) که بسیار مهم و مورد توجه محققان می باشد، معیارهای ارزیابی و انتخاب معیار مناسب برای ارزیابی کیفیت دادهی تولید شده می باشد. در خصوص ارزیابی دادههای تولید شده دو روش ارزیابی انسانی و خودکار وجود دارد. در معرفی معیارهای خودکار، اساس شباهت و نزدیک بودن به ارزیابی انسانی است . هر معیاری که مقادیری تولید کند که بیشتر به نتایج ارزیابی انسانی نزدیک باشد معیار مناسب تری است .در این مقاله انواع معیارهای به کار رفته در ارزیابی متون تولید شده، معرفی و بررسی می شوند. ما در این پژوهش مدلی برای تولید متن پیاده سازی نموده ایم و متن تولید شده را با معیار BLEU که تعیین کننده کیفیت متن می باشد و Self-BlEU که بیان کننده میزان تنوع در متن تولیدی است و معیار شباهت جاکارد برای تعیین میزان شباهت یا استقلال متون تولیدی ، ارزیابی کردیم و نتایج به دست آمده را مورد تحلیل قرار دادیم .

کلیدواژه ها:

تولید متن ، اندازه گیری تنوع در متن ، اندازه گیری شباهت متون