بررسی روشهای مفید برای ارزیابی کارایی در سیستم پرسش و پاسخ

امروزه به پشتوانه مدلهای زبانی بزرگ شاهد پیشرفت شگفت انگیزی در سیستمهای پرسش و پاسخ هستیم؛ لیکن ارزیابی این سیستم ها همچنان توسط ناظر انسانی انجام میشود لذا بسیار پرهزینه و وقت گیر است. این پژوهش در راستای بررسی روشهای کارآمد مطرح شده جهت ارزیابی سیستم پرسش و پاسخ است. بعضی از این روشها ابتدا برای ارزیابی سیستمهای ترجمه ماشینی و خلاصه سازی متن مطرح شده بودند ولی به جهت کارایی در ارزیابی سیستمهای پرسش و پاسخ مورد استفاده قرار گرفتند. در در این رابطه ابتدا شاخصهای ارزیابی سیستمهای پرسش و پاسخ مورد بررسی قرار گرفته شده است. ضمنا یک متریک جدید به صورت یک ایده ارائه میشود که میتواند سیستم پرسش و پاسخ را به صورت لحظه ای ارزیابی کند. روش پیشنهادی با بهره گیری از تکنیکهای یادگیری عمیق به دنبال اختصاص امتیاز مناسب به حالتهای مختلفی است که ضمن یک جلسه پرسش و پاسخ در یک سیستم مبتنی بر پردازش ماشینی زبان طبیعی رخ میدهد. در این روش به جای مقایسه پاسخ ماشین و پاسخ مرجع سوال قبلی و بعدی کاربر با هم مقایسه میشود. این روش فقط به صورت نظری تحلیل شده و امید است. در پژوهشهای آینده پیاده سازی شده و نتایج آزمایشی آن مورد ارزیابی قرار گیرد.