خوشه بندی هوشمند داده ها با استفاده از یادگیری عمیق خودرمزگذار متغیر و HDBSCAN: رویکردی نوین در یادگیری بدون نظارت

دریافت، تحلیل و پردازش داده های بزرگ چالش برانگیز می باشد. یک مکانیزم کارآمد برای غلبه بر این چالش ها، خوشه بندی هوشمند داده ها به یک فرمت فشرده است که ساختار مجموعه داده را منعکس کند. در این راستا، یک رویکرد نوین برای خوشه بندی هوشمند داده ها با بهره گیری از تکنیک های یادگیری عمیق (مانند VAE) فضای داده ها را به یک فضای نهان بهینه و کم بعد نگاشت کرده و امکان استخراج ویژگی های متمایز را فراهم می آورد و متعاقبا الگوریتم HDBSCAN به عنوان هسته اصلی خوشه بندی در این فضای بهینه مورد استفاده قرار می گیرد. خوشه بندی مبتنی بر چگالی، یکی از رویکردهای کارآمد در تحلیل داده های بدون نظارت، توانایی شناسایی خوشه هایی با اشکال پیچیده را دارد. الگوریتم HDBSCAN به عنوان یک نسخه پیشرفته برپایه DBSCAN بنا شده است. این الگوریتم برخلاف روش های سنتی (K-mean)، قادر به شناسایی خوشه های با شکل پیچیده، بدون نیاز به تعیین تعداد خوشه ها دارد. با این حال، حساسیت آن به پارامترهای min_samples و min_cluster_size کارایی آن را در داده های با ابعاد بالا محدود می سازد. نتایج رویکرد پیشنهادی حاکی از آن است در داده های با ابعاد بالا (۷۸۴ بعد) با ۰.۸۰۹۴ ARI= و ۰.۸۱۱۴ DBCV= عملکرد بهتری نسبت به روش های پایه داشت (بهبود ۶۹ درصدی در ARI). بهینه ساز بیزی با ۵۰ ارزیابی، پارامترهای بهینه را تعیین می کند. این رویکرد در کشف ساختارهای پیچیده و پنهان در داده ها و بهینه سازی هوشمند پارامترها موثر بوده و دقت و پایداری خوشه ها را نسبت به روش های متداول افزایش داده است؛ در نتیجه ابزاری قدرتمند برای تحلیل داده های بزرگ و پیچیده ایجاد کرده است.

کلیدواژه ها:

خوشه بندی مبتنی بر چگالی ، خودرمزگذار متغیر ، الگوریتم HDBSCAN ، بهینه سازبیزی