ارزیابی استحکام باز رتبه بندی اسناد فارسی در برابر نویزهای نوشتاری و بررسی اثر نرمال سازی: مقایسه Tooka BM۲۵ و multilingual-E۵

این پژوهش استحکام باز رتبه بندی اسناد فارسی را در برابر اغتشاش های نوشتاری و میزان کاهش افت عملکرد پس از نرمال سازی متن بررسی می کند. آزمایش ها بر بخش توسعه فارسی مجموعه MIRACL و در چارچوب مجموعه ای ثابت شامل ۱۰۰ سند کاندیدا برای هر پرس وجو انجام شدند. پس از کنار گذاشتن پرس وجوهای فاقد سند مرتبط، ۵۱۵ پرس وجو و ۵۱٬۵۰۰ زوج پرس وجو-سند باقی ماند. سه روش Tooka-SBERT-V۲-Small، BM۲۵ و multilingual-E۵-base در برابر ۱۶ شرط نویسه ای، فاصله ای، تایپی و ترکیبی در دو مسیر خام و نرمال شده ارزیابی شدند. برای اغتشاش های تصادفی، نتایج پنج بذر ابتدا در سطح هر پرس وجو میانگین گیری شد. عملکرد با معیارهای @۱۰MRR، @۱۰nDCG و @۱۰Recall سنجیده شد و تحلیل استنباطی با آزمون زوجی ویلکاکسون بوت استرپ صدکی در سطح پرس وجو و تصحیح هولم انجام گرفت. multilingual-E۵ در پرس وجوهای پاک بالاترین میانگین عملکرد را به دست آورد؛ با این حال عملکرد پاک بالاتر در همه شرایط با استحکام بیشتر همراه نبود. شدیدترین افت BM۲۵ در تبدیل نیم فاصله به فاصله، معمولی شدیدترین افت Tooka در جابه جایی حروف مجاور و شدیدترین افت multilingual-E۵ در اغتشاش ترکیبی مشاهده شد. نرمال سازی فقط برای BM۲۵ در تغییر نیم فاصله به فاصله و برای multilingual-E۵ در تغییر صورت فارسی-عربی نویسه ها و اغتشاش ترکیبی کاهش معنادار افت ایجاد کرد؛ برای Tooka هیچ کاهش معناداری مشاهده نشد. در اعتبارسنجی انسانی ۱۶۰ نمونه نیاز اطلاعاتی در ۹۸٫۷۵ درصد موارد حفظ شد و همه نمونه ها پس از داوری نهایی به عنوان خطاهای نوشتاری سطحی قابل قبول تشخیص داده شدند. نتایج نشان می دهند اثر نرمال سازی به مدل توکن ساز و نوع اغتشاش وابسته است و ارزیابی سامانه های بازیابی فارسی نباید به پرس وجوهای پاک محدود شود.

کلیدواژه ها:

بازیابی اطلاعات فارسی ، باز رتبه بندی اسناد ، استحکام در برابر نویز ، نرمال سازی متن ، بازیابی متراکم ، نیم فاصله