مرور و بررسی الگوریتمها و روشهای پاکسازی داده در پایگاهدادهها

هنگامی که داده ها از چندین منبع مختلف ناهمگن در یک منبع جمع می شوند، مشکلات مختلف کیفیت داده رخ می دهند. با توجه به اینکه داده های خام یکی از ارزشمندترین سرمایه های هر سازمان می باشد. بنابراین به منظور افزایش کیفیت و صحت و همچنین کارآمد بودن هرچه بیشتر داده های موجود، شناسایی رکوردهایی که دارای نمایش های مختلفی بوده اما در اصل به یک موجودیت واحد اشاره می کنند، یعنی شناسایی رکوردهای تکراری، امری اجتناب ناپذیر است. با توجه به حجم بالا و رو به رشد اطلاعات در پایگاه داده ها، بررسی و شناسایی رکوردهای تکراری توسط انسان و با روش های دستی غیر ممکن است. بنابراین نیاز به استفاده از یکسری تکنیک های هوشمند وجود دارد تا بتوان با استفاده از آنها بین رکوردهایی که دارای مقادیر فیلدهای شبیه به هم هستند، میزان شباهتی را تخمین زده و در صورت وجود شباهت بالا در بین مقادیرفیلدهای متناظر، با بررسی میزان شباهت دو رکورد، رکوردهای تکراری را شناسایی نمود. از این رو روش های مختلفی برای تطابق فیلدها و رکوردها برای شناسایی رکوردهای تکراری مطرح شده است. در ابتدا معیارهای کیفیت داده و مشکلات کیفیت داده بررسی شده و تعدادی از الگوریتم ها و روش های تطابق فیلد و رکورد که در پاکسازی داده ها مورد استفاده قرار می گیرند، بررسی شده اند.

کلیدواژه ها:

تشخیص تکرار ، تطابق فیلد ، تطابق رکورد ، حذف تکرار ، پایگاه داده ها