بررسی تجربی تاثیر کیفیت و حجم داده ها بر دقت خوشه بندی K-Means در محیط IBM SPSS Modeler

کیفیت و حجم داده از عوامل موثر بر عملکرد مدل های یادگیری ماشین محسوب می شوند؛ با این حال، افزایش حجم داده لزوما به بهبود عملکرد مدل منجر نمی شود و کیفیت داده می تواند نقش تعیین کننده ای در نتایج تحلیل داشته باشد. پژوهش حاضر با هدف بررسی تجربی تاثیر همزمان کیفیت و حجم داده بر عملکرد الگوریتم خوشه بندی K-Means در محیط IBM SPSS Modeler انجام شده است. در این پژوهش، یک مجموعه داده واقعی مربوط به مشتریان بانکی پس از ورود به محیط IBM SPSS Modeler از نظر مقادیر مفقوده، داده های پرت، نوع متغیرها و مقیاس ویژگی ها مورد بررسی قرار گرفت. در مرحله پیش پردازش، داده های پرت شناسایی و مدیریت، مقادیر مفقوده جایگزین، متغیرهای کیفی به مقادیر عددی تبدیل و ویژگی های عددی استانداردسازی شدند. سپس الگوریتم K-Means با استفاده از K-Means و Cluster Auto بر روی داده های آماده شده اجرا و کیفیت ساختار خوشه ها با استفاده از شاخص Silhouette و توزیع اعضای خوشه ها ارزیابی شد. به منظور بررسی اثر حجم داده، مجموعه داده در سه سطح ۳۰، ۶۰ و ۱۰۰ درصد مورد آزمایش قرار گرفت و در هر سه سطح، پروتکل پیش پردازش یکسانی اعمال شد. نتایج نشان داد که مقدار شاخص Silhouette برای سطوح ۳۰، ۶۰ و ۱۰۰ درصد داده به ترتیب برابر با ۰.۴۹۶، ۰.۴۵۵ و ۰.۴۶۱ بوده است. بنابراین، افزایش حجم داده در این مجموعه آزمایشی رابطه خطی و مستقیمی با بهبود کیفیت خوشه بندی نداشته است. همچنین بررسی توزیع خوشه ها نشان داد که تغییر حجم داده می تواند ساختار و اندازه نسبی خوشه ها را تغییر دهد؛ ازاین رو، ارزیابی عملکرد K-Means نباید صرفا بر اساس یک شاخص منفرد انجام شود. یافته های پژوهش نشان می دهد که افزایش حجم داده بدون کنترل کیفیت آن، به تنهایی نمی تواند تضمین کننده بهبود عملکرد مدل باشد و فرآیندهایی مانند مدیریت داده های پرت و مفقوده، تبدیل مناسب متغیرها و استانداردسازی ویژگی ها نقش مهمی در آماده سازی داده برای الگوریتم های مبتنی بر فاصله دارند. در مجموع، نتایج بر ضرورت توجه همزمان به کیفیت و کمیت داده در طراحی و ارزیابی مدل های یادگیری ماشین تاکید می کند.

کلیدواژه ها:

کیفیت داده ، کلان داده ، خوشه بندی K-Means ، پیش پردازش داده ها ، IBM SPSS Modeler ، مقادیر مفقوده ، داده های پرت.