پاکسازی و آماده سازی داده با استفاده از روش های خوشه بندی

پاکسازی داده ها از خطاها و نویز یکی از بخش های اصلی فرایند نگهداری محسوب می گردد. از این رو در این تحقیق یک روش آماده سازی و پاکسازی داده مبتنی بر خوشه بندی ارایه شده است که در آن ابتدا داده های خام را به دلیل اینکه به سرعت به پاکسازی و نرمال سازی های آتی داده کمک می کند، خوشه بندی نموده سپس عملیات پاک سازی داده ها و در مرحله آخر عمل تبدیل داده انجام می شود. در این تحقیق ، آزمایش ها در بدترین حالت میزان نویز، در نظر گرفته شده و یا این وضعیت آزمایش پیش برده شده، تا بهترین نتیجه برای روش پیشنهادی بدست آید. روش پیشنهادی یک پارچوب پاکسازی داده جهت بهبود صحت روش های داده کاوی بر روی داده های پاکسازی شده را نشان می دهد و مزیت اصلی آن در این است که نیاز به بروزرسانی در محیط های پویا را نداشته و با قرار دادن هر داده جدید در دسته مناسب همیشه منبع را بروز نگه می دارد. در روش پیشنهادی از مجموعه داده تشخیص حروف با 20000 داده استفاده شده است این مجموع داده در آدرس (https://archive.ics.uci.edu/ml/datasets/Letter+Recognition) موجود است. که بعد از اعمال گام های روش پیشنهادی بر روی مجموعه داده، دو مجموعه پاکسازی شده با روش پیشنهادی مورد مقایسه قرار گرفته و طبق نتایج حاصل، در روش پیشنهادی الگوریتم طبقه بندی Kstar نسبت به سایر الگوریتم های طبقه بندی استفاده شده بهبود بیشتری داشته و میزان این بهبود 25 درصد است.

کلیدواژه ها:

پاکسازی ، خوشه بندی ، داده ، نویز و خطا