ارایه راهکاری جهت تشخیص اسناد نزدیک به تکراری

اخیرا با گسترش صفحات وب و افزایش تقاضای کاربران برای بازیابی اطلاعات وب، روش هایی برای افزایش سرعت وب کاوی و ارایه روش های با قابلیت اعتماد بالاتر و الگوریتم های بهینه تر لازم و ضروری است. در این مقاله، دو الگوریتم برای تشخیص نزدیک به تکراری مورد بررسی قرار گرفته است. سپس با ترکیب این دو الگوریتم یک راهکار جدید برای تشخیص و حذف صفحات وب نزدیک به تکراری، با روش معنایی و برمبنای فاکتور هایی نتایج تکراری یا نزدیک به تکراری را دسته بندی و حذف می کند. الگوریتم اول شامل سه فاز است: فاز اول پیش پردازش های لازم صورت می پذیرد. فاز دوم فیلترینگ پیشوندی و مکانی جهت کاهش اندازه مجموعه رکورد و در فاز سوم نیز تجزیه به مقادیر منفرد و محاسبه شباهت انجام می شود و یک مجموعه بهینه نزدیک به تکراری را باز می گرداند. الگوریتم دوم، الگوریتم پیشنهادی مبنی بر مبدا وب می باشد که از 6 فاکتور(Who,When,What,Why,Where,How) برای محاسبه قابلیت اطمینان هر سند استفاده می کند. در نهایت با ترکیب این دو الگوریتم یک راهکار جدید جهت تشخیص و حذف نزدیک به تکراری ارایه شده است. برای ارزیابی کارآیی راهکار جدید از دو معیار دقت و فراخوانی استفاده می شود، که درصد دقت و فراخوانی برای راهکار جدید 97.95% بدست آمد. نتایج نشان می دهد که قابلیت اطمینان و کارایی این راهکار نسبت به استفاده از این الگوریتم ها به طور مجزا بیشتر است.

کلیدواژه ها:

تشخیص اسناد نزدیک به تکراری ، ماتریس مبداء وب ، ماتریس.TDW ، ماتریس DTM فیلترینگ پیشوندی ، فیلترینگ پسوندی