چگونگی تلخیص داده ها(کاهش بعد) در فرآیند داده کاوی

گام های پیش پردازش به عنوان آماده سازی داده ها برای داده کاوی در مورد مجموعه های دادهای کوچک ومتوسط،کافی میباشند. برای مجموعه های دادهای بسیار بزرگ، امکان افزودن یک گام اضافی و میانی، تلخیص داده ها، که پیش از به کارگیری فنون داده کاوی بایستی انجام شود وجود دارد.زمانی که مجموعههای دادهای بزرگ قابلیت ارایه نتایج بهتر داده کاوی را دارند، هیچ تضمینی در مورد ارایه دانش بهترتوسط اینها نسبت به مجموعه های کوچک وجود ندارد. حال در مورد داده های چند بعدی دادهشده، سیوال اصلی این است که آیا میتوان قبل از جست وجوی تمامی راه حل های مساله داده کاوی در تمامی ابعاد، قابلیت روش مذکور را برای کاوش و کشف در یک مجموعه تلخیص شده از داده ها تعیین کرد. یک راه حل بسیار متداول از یک زیر مجموعه ای از حالات یا ویژگی های قابل دسترس استنتاج شده، در صورت بزرگ شدن فضای جست وجو، این راه حل تغییری نخواهدکرد. موضوع اصلی برای پیاده سازی داده ها در این گام, تلخیص 1 ابعاد میباشد و سیوال اصلی این است که آیا میتوان برخی از این داده های آماده و پیش پردازش شده را بدون لطمه زدن به کیفیت نتیجه حذف کرد یک سیوال دیگر نیز در رابطه با فنون تلخیص داده ها مطرح میباشد. آیا داده های آماده شده را میتوان بازنگری کرد و یک زیر مجموعه مناسب از نظر زمان و فضا پیدا کرد اگر پیچیدگی الگوریتم تلخیص داده ها به صورت نمایی افزایش یابد، آنگاه تلخیص ابعاد در داده های بزرگ بسیار اندک خواهد بود. در این مقاله، فنون پایه ای و نسبتا کارا برای تلخیص بعد که در مسایل مختلف دادهکاوی کاربرد دارند را معرفی میکنیم.

کلیدواژه ها:

تلخیص ابعادی ، آنتروپی و تحلیل مولفه ها ، فنون ادغام ، رتبه بندی ویژگی ، پیش پردازش فرآیندداده کاوی