ارائه روشی برای تشخیص رکوردهای مشابه درپایگاه داده های بزرگ با استفاده ازشبکه عصبی

پایگاه داده های بزرگ معمولا شامل رکوردهایی است که به یک موجودیت یکسان اشاره دارند استفاده ازاختصارسامانه های متنوع سازمانی تجمیع داده منابع مختلف دلایلی هستند که منجر به رکوردهای تکراری درپایگاه داده می گردند این مساله بخاطراینکه تاثیرمخربی براماروگزارشات و نتایج داده کاوی ازپایگاه داده ها می گذرد بسیارمهم است دراین مقاله راه حل جدیدی برای تشخیص رکوردهای مشابه درپایگاه داده های بزرگ با استفاده ازشبکه عصبی mlp ارایه شده است نتایج ارزیابی نشان میدهد درصورتی که شبکه عصبی با داده های مناسب اموزش ببیند عملکردخوبی نسبت به روشهای قبلی دارد این روش بصورت ماژولی جهت تشخیص تکرارها برای سیستم های برخط بزرگ مانندموتورهای جستجوقابل استفاده است

کلیدواژه ها:

هوش مصنوعی ، تشخیص پرتکرار ، شباهت رکوردها ، شبکه های عصبی