مجموعه ای از ویژگی های آماری جدید برای ارزیابی سیستم های پرسش و پاسخ تعاملی
- سال انتشار: 1398
- محل انتشار: فصلنامه مهندسی برق دانشگاه تبریز، دوره: 49، شماره: 3
- کد COI اختصاصی: JR_TJEE-49-3_008
- زبان مقاله: فارسی
- تعداد مشاهده: 212
نویسندگان
دانشکده مهندسی کامپیوتر و فن آوری اطلاعات - دانشگاه صنعتی شاهرود
دانشکده مهندسی کامپیوتر و فن آوری اطلاعات - دانشگاه صنعتی شاهرود
دانشکده مهندسی کامپیوتر و فن آوری اطلاعات - دانشگاه صنعتی شاهرود
چکیده
ارزیابی نقش مهمی در سیستم های پرسش و پاسخ تعاملی ایفا می نماید. روش استانداردی وجود ندارد که به ارزیابی کلی این سیستم ها پرداخته باشد. مشکل اصلی در طراحی این سیستم ها، عدم امکان پیش گویی بخش تعاملی است. به همین منظور، باید انسان در فرآیند ارزیابی شرکت داشته باشد. در این مقاله مجموعه ای از ویژگی های آماری جدید ساخته شده بر اساس n-گرم ها و بزرگ ترین رشته مشترک برای ارزیابی سیستم های پرسش و پاسخ تعاملی معرفی شده است. چهار سیستم پرسش و پاسخ تعاملی موجود برای ایجاد پایگاه داده ای از مکالمات ردوبدل شده بین کاربران و سیستم ها استفاده گردید. خروجی های تولیدشده، تعداد ۵۴۰ نمونه به عنوان داده مناسب در نظر گرفته شد تا مجموعه تست و آموزش بر اساس آن ایجاد گردد. سپس پیش پردازش بر روی متن ها صورت پذیرفت و ویژگی های تعریف شده از متن مکالمه ها استخراج و بر اساس آن ماتریس ویژگی تشکیل گردید. درنهایت با استفاده از ماشین بردار پشتیبان به دسته بندی نظرات به دو گروه با امتیاز خوب و بد پرداخته شد. نتایج حاصل از ضریب همبستگی بین نظرات انسانی و نظرات حاصل از ویژگی های پیشنهادی حاکی از دقت بالای مجموعه ویژگی های ارائه شده، در ارزیابی سیستم های پرسش و پاسخ تعاملی است.کلیدواژه ها
ارزیابی, سیستم پرسش و پاسخ تعاملی, ماشین بردار پشتیبان, ویژگی آماریاطلاعات بیشتر در مورد COI
COI مخفف عبارت CIVILICA Object Identifier به معنی شناسه سیویلیکا برای اسناد است. COI کدی است که مطابق محل انتشار، به مقالات کنفرانسها و ژورنالهای داخل کشور به هنگام نمایه سازی بر روی پایگاه استنادی سیویلیکا اختصاص می یابد.
کد COI به مفهوم کد ملی اسناد نمایه شده در سیویلیکا است و کدی یکتا و ثابت است و به همین دلیل همواره قابلیت استناد و پیگیری دارد.