خوشه بندی داده های ابعادبالا با استفاده از آنتروپی و مدل MapReduce در Hadoop-Mahout

خوشه بندی، یکی از روش های معمول کار با دنیای کلان داده است. از الگوریتم های خوشه بندی که به صورت گستره نیز به کار میرود، الگوریتم means-K است اما در مواردی که برای پردازش داده های ابعاد بالا استفاده میشود، پیچیدگی زمانی آن بیش از حد بالاست. الگوریتم های خوشه بندی بر اساس پلتفرم هدوپ، پیچیدگی زمانی و فضایی کمتری دارند و همینطور دارای مقیاس پذیری خوبی در پردازش داده های حجیم میباشند. کتابخانه منبع باز ماهوت، کتابخانه ی الگوریتم های یادگیری ماشین است. در این مقاله قصد داریم به منظور کاهش زمان پردازش خوشه بندی داده های ابعادبالا، الگویی ترکیبی در چارچوب ماهوت بر اساس مدلMapReduce- Hadoop و با استفاده از آنتروپی ارایه دهیم. این الگوی ترکیبی جدید با افزودن آنتروپی وزن، الگوریتم means-K را گسترش داده و عملکرد آنرا در خوشه بندی داده های ابعاد بالا در زیر فضاها بهبود داده است. الگوی ترکیبی با مدل پردازشیMapReduce طراحی شده، و بر روی اکو سیستم هدوپ با استفاده از ماهوت بر روی مجموعه داده 21578-Reuters پیاده سازی و اجرا شده است.

کلیدواژه ها:

Mahout ، Hadoop ، MapReduce ، Big Data ، Entropy Weighting Kmeans ، High-Dimensional Data