پردازش کلان داده ها با استفاده از داده های HDFS و تکنیک های تکاملی خوشه

ایجاد علومی از داده ها با چالش های بسیاری مواجه بوده است یک مسئله اصلی وجود دارد و آن این است که امروزه کنند کلان داده ها، پویا و ناهمگن هستند و چندین منابع را که اغلب ساختار استانداردی ندارند را جمع آوری می ک اکثر تجزیه و تحلیل داده های مدرن ابزارهای مدیریت و سرویس را طراحی می کنند و در سیستم فایل توزیع شده هادوپ (HDFS) به عنوان یک انبار داده ای مورد استفاده قرار می دهند؛ گاهی اوقات هم این ابزار تحلیلی از سرویس هایی که توسط اکوسیستم ها دوپ پردازش شده اند استفاده می کند هادوپ از لحاظ هزینه و عملکرد بسیار خوب است. قابلیت انعطاف هادوپ مقیاسی روی مسائل مدیریتی داده ها ارائه می دهند و در آن کاربران به صورت ناکارآمد کار انجام می دهند. هونگ و همکارانش (a) راهکارهایی که کاربران به منظور اضافه کردن ماشین ها برای غلبه محاسبات انجام می دهند نحوه تمرکز و استفاده از کدهای منابع کاربران را به ما نشان می دهد، و (b) بسیاری از کاربران HDFS معتقدند که این کدها برای پردازش دسته های طراحی شده اند از این رو خوب است که کدها برای مدت طولانی در پس زمینه بکار برده شوند و حتی تصور هم نمی کنند که منابع مورد استفاده این فرآیندها بر هستند. در باجدا پاولیکوفسکی و همکارانش روی هاداپ کار کردند، و نویسندگان نمونه ای از چنین ناکارآمدی را ارائه دادند و داده های ساخت یافته را ۵۰ بار برآورد کردند با این حال انفجار اقدام مهم داده های نیمه ساخت یافته، به صورت چندگانه و ساختار نیافته بر طبق بررسیهای مایکل واکر است که در وبلاگ به آن اشاره شده است. شرکت داده های بین المللی (IDC) برآورد کرده است که حجم داده های دیجیتال از ۴۰ تا ۵۰ درصد در سال رشد خواهد کرد. تا سال ۲۰۲۰ IDC پیش بینی کرده است که این تعداد به ۴۰ زتابایت خواهد رسید. تا سال ۲۰۲۰، جهان ۵۰ بار مقادیر داده ای و ۷۵ بار محتوای داده ها را تولید خواهد کرد. نیازهای سختی برای ابزارهای تجزیه و تحلیل داده فعلی به منظور اندازه گیری کلان داده ها وجود دارد و آنها به طور موثر از منابع پردازش استفاده می کنند.

کلیدواژه ها:

روشهای خوشه بندی ، محاسبات توزیع شده ، مدیریت اطلاعات ، بهینه سازی ، مقیاس پذیری