بهبود سرعت تشخیص رکوردهای تکراری به وسیله کاهش تعداد مقایسه رکوردها با روشهای بلوک بندی

پیوند رکوردها، یکی از مسائل مهمی است که برای تشخیص و حذف داده های تکراری مورد استفاده قرار می گیرد. مشکل حاصل از پیوند رکوردها هزینه بالای محاسباتی می باشد، زیرا تعداد زیادی از رکوردها باید مورد مقایسه قرار بگیرند. یکی دیگر از عواملی که می تواند منجر به افزایش هزینه محاسبه شود، هزینه مورد نیاز برای یک مقایسه است. با توجه به این که هر مقایسه رکورد نیاز به مقایسه فیلدهای متعددی دارد، بنابراین مقایسه رکورد هزینه زیادی می تواند داشته باشد. در این مقاله بهبود سرعت تشخیص تکرار با روش های موجود در بلوک بندی برای به حداقل رساندن تعداد مقایسه رکوردها مورد بررسی قرار گرفته است. با توجه به معیارهای ارزیابی تعریف شده F-measure هر یک از الگوریتم های مذکور محاسبه شده است. با توجه به نتایج به دست آمده، روش های bigram- indexing و Clustering and Canopy به طور قابل توجهی بهتر از بلوک بندی بر اساس کلید و SNM با پنجره ای با اندازه پویا می باشد.

کلیدواژه ها:

پیوند رکورد ، تشخیص تکرار ، مقایسه رکورد ، داده های تکراری ، بلوک بندی