بررسی سرویس پردازش موازی Hadoop در تحلیل کلان داده

موضوع کلان داده، به حجم زیاد داده ها مربوط است؛ حجمی که هر روز نیز رو به افزایش است و هر یک از ما، در هر مقیاسی که فعال باشیم، جلوه هایی از آن را مشاهده و تجربه کردهایم و روز به روز درحال گسترش است. امروزه بحث تحلیل و پردازش کلان داده ها در بورس ، صنایع ساخت موشک و فضاپیما ، رسانه ها و شبکه های اجتماعی و ... بحث مهم در علم و صنعت و تجارت به شمار میرود؛ از طرف دیگر استفاده از روش های سنتی مدیریت کلان داده هم کاری وقت گیر و هزینه بر است و مقرون به صرفه نیست؛ در نتیجه صنعت و تجارت نیازمند شیوه های پردازش نوآورانه با هزینه مناسب هستند تا بتوانند برای اتوماسیون فرایندها، تصمیم گیری و بهبود شهود و بینش در مجموعه یا سازمان بهره گیرند. از سرویس های مهم و مدرن و پرطرفدار امروزه در بحث پردازش کلان داده میتوان به سیستم پردازش موازی هدوپ اشاره کرد که از 2 بخش سیستم فایل توزیع شده HDFS و چهارچوب برنامه نویسی نگاشت/کاهشMap/Reduce تشکیل شده که جهت اجرا بروی چندین سرور طراحی شده. در این مقاله سعی داریم که به تحلیل و بررسی این سیستم در تحلیل کلان داده ها بپردازیم.

کلیدواژه ها:

کلان داده ، پردازش موازی ، هدوپ ، سیستم فایل توزیع شده ، نگاشت/کاهش