ساخت یک مجموعه داده برای ارزیابی سه نمونه سیستم پرسش و پاسخ

با توجه به رشد سریع پایگاه دانش های بزرگ، استفاده از سیستم های پرسش و پاسخ گسترش یافته و ارزیابی این سیستم ها به یک مسئله مهم تبدیل شده است. این مقاله، یک چارچوب نیمه خودکار برای ساخت یک مجموعه دادهی پرسش و پاسخ ارائه می کند. این مجموعه داده ها، شامل یک مجموعه پرسش با پاسخ های صحیحشان می باشند. در این چارچوب مجموعه ای از ویژگی ها برای پرسش ها فرمول بندی شده و تاثیر این ویژگی های مختلف، در سیستم های پرسش و پاسخ مشخص می گردد. این ویژگی ها شامل عملگرهای مورد استفاده، میزان عمومیت، تعداد پاسخ های به دست آمده، تفسیرهای مختلف برای پرسش ها با توجه به انعطاف پذیری زبان و پیچیدگی ساختار می باشد. برای ساخت این مجموعه داده، ابتدا از یک پایگاه دانش یک ساختار گراف منطقی به صورت خودکار تولید شده و سپس گراف های منطقی به صورت دستی به پرسش تبدیل می گردند. کار ما ارزیابی عملکرد سه نمونه سیستم پرسش و پاسخ می باشد. به این صورت که مجموعه داده ی ساخته شده روی این سه نمونه سیستم، اجرا و نتایج حاصل از آن باتوجه به اهمیت بالای دو نمونه از ویژگی های ذکر شده یعنی تعداد پاسخ و میزان عمومیت بررسی می گردد. در نهایت بهترین سیستم پرسش و پاسخی که پرسش های با پاسخ های متعدد و میزان عمومیت بالا را به خوبی شناسایی می کند، معرفی می شود.

کلیدواژه ها:

پردازش زبان طبیعی ، سیستم پرسش و پاسخ ، مجموعه داده ، پایگاه دانش