توسعه الگوریتم رتبه بندی BM25 در متون غیرساخت یافته با استفاده از تطبیق مفاهیم

امروزه با گسترش سیستمهای پایگاهی و حجم بالای دادههای ذخیره شده در این سیستمها، نیاز به ابزاری است تا بتوان دادههای ذخیره شده را پردازش کرد و اطلاعات حاصل از این پردازش را در اختیار کاربران قرار داد. با استفاده ار پرسشهای ساده در بانکهای اطلاعاتی و ابزارهای گوناگون گزارشگیری معمولی، میتوان اطلاعاتی را در اختیار کاربران قرار داد تا بتوانند به نتیجهگیری در مورد دادهها و روابط منطقی میان آنها بپردازند اما وقتی که حجم دادهها بالا باشد،کاربران هر چقدرحرفهای و با تجربه باشند نمیتوانند الگوهای مفید را در میان حجم انبوه دادهها تشخیص دهند و یا اگرقادر به این کار هم باشند، هزینه عملیات از نظر نیروی انسانی و مالی بسیار بالا است. بنابراین درحال حاضر یک تغییر الگواز مدلسازی و تحلیلهای کلاسیک برپایه اصول اولیه به مدلهای درحال پیشرفت و تحلیلهای مربوط بطور مستقیم ازدادهها وجود دارد. دادهکاوی یکی از مهمترین این روشها است که به وسیله آن الگوهای مفید در دادهها با حداقل دخالت کاربران شناخته میشوند و اطلاعاتی را در اختیار کاربران و تحلیلگران قرار میدهند تا براساس آنها تصمیمات مهم وحیاتی در سازمانها اتخاذ شوند. الگوریتم BM25 از الگوریتمهای رتبهبندی موفق محسوب میگردد. استفاده از این الگوریتم در متون فارسی و همچنین متونی که شامل ترکیبی از زبانهای فارسی و لاتین باشد گاهی به دلیل برخی مسائل باعث کاهش دقت، صحت و بازخوانی این الگوریتم میگردد. در این پایاننامه روشی برای رفع مشکل ذکر شده ارائه می- گرددو در نهایت نتایج بدست آمده مورد بررسی قرار میگیرد.

کلیدواژه ها:

رتبه بندی ، داده کاوی ، متن کاوی ، تطبیق مفاهیم