داده کاوی داده های حجم زیاد با روش بسط یافته برای مدل نکاشت کاهش

پردازش داده های حجم زیاد وابسته به برنامه نویسی موازی است. تاکنون نگاشت کاهش که یکی از روش های تکراری داده کاوی در الگوریتم خوشه بندی بدون نظارت است در الگوریتم K-means استفاده شده است. اما بهبود مقیاس پذیری و کارایی این الگوریتم همواره یکی از اهداف برای داده کاوی در داده های حجم زیاد است. در اینجا یک الگوریتم بسط افته از مدل K-means پیشنهاد شده است که موجب افزایش کارایی عامل مقیاس پذیری در زمان افزایش حجم داده ها می شود. بطوری که در الگوریتم پیشنهادی، وابستگی مستقیم هر رکورد ساختار با رکورهای وضعیت موجود اعمال می شود. با ایجاد این وابستگی، هزینه های نگاشت کاهش و عملیات آغاز نگاشت تاحد زیادی کاهش می یابد. با توجه به بهبود صورت یافته در الگوریتم K-means و استفاده از روش نگاشت کاهش تکراری، میزان کارایی و مقیاس پذیری تاحد مطلوبی افزایش می یابد و آزمایشات ما این بهبودی نتایج را تایید می کنند.

کلیدواژه ها:

داده کاوی ، داده های حجم زیاد ، نگاشت کاهش تکراری ، برنامه نویسی موازی ، بسط الگوریتم ، K-means ، پردازش توزیعی.