مجموعه ای از ویژگی های آماری جدید برای ارزیابی سیستم های پرسش و پاسخ تعاملی

ارزیابی نقش مهمی در سیستم های پرسش و پاسخ تعاملی ایفا می نماید. روش استانداردی وجود ندارد که به ارزیابی کلی این سیستم ها پرداخته باشد. مشکل اصلی در طراحی این سیستم ها، عدم امکان پیش گویی بخش تعاملی است. به همین منظور، باید انسان در فرآیند ارزیابی شرکت داشته باشد. در این مقاله مجموعه ای از ویژگی های آماری جدید ساخته شده بر اساس n-گرم ها و بزرگ ترین رشته مشترک برای ارزیابی سیستم های پرسش و پاسخ تعاملی معرفی شده است. چهار سیستم پرسش و پاسخ تعاملی موجود برای ایجاد پایگاه داده ای از مکالمات ردوبدل شده بین کاربران و سیستم ها استفاده گردید. خروجی های تولیدشده، تعداد ۵۴۰ نمونه به عنوان داده مناسب در نظر گرفته شد تا مجموعه تست و آموزش بر اساس آن ایجاد گردد. سپس پیش پردازش بر روی متن ها صورت پذیرفت و ویژگی های تعریف شده از متن مکالمه ها استخراج و بر اساس آن ماتریس ویژگی تشکیل گردید. درنهایت با استفاده از ماشین بردار پشتیبان به دسته بندی نظرات به دو گروه با امتیاز خوب و بد پرداخته شد. نتایج حاصل از ضریب همبستگی بین نظرات انسانی و نظرات حاصل از ویژگی های پیشنهادی حاکی از دقت بالای مجموعه ویژگی های ارائه شده، در ارزیابی سیستم های پرسش و پاسخ تعاملی است.

کلیدواژه ها:

ارزیابی ، سیستم پرسش و پاسخ تعاملی ، ماشین بردار پشتیبان ، ویژگی آماری