مروری بر چالش های تجزیه و تحلیل کلان داده و راه حل های رفع آن ها

  • سال انتشار: 1394
  • محل انتشار: هشتمین کنفرانس ملی و دومین کنفرانس بین المللی مدیریت دانش
  • کد COI اختصاصی: IKMC08_074
  • زبان مقاله: فارسی
  • تعداد مشاهده: 1512
دانلود فایل این مقاله

نویسندگان

پیام کیافر

دانشجوی کارشناسی ارشد مهندسی کامپیوتر - نرم افزار، دانشگاه آزاد اسلامی واحد کرمانشاه

صدیقه جاورسینه

دانشجوی کارشناسی ارشد مهندسی کامپیوتر - نرم افزار، دانشگاه آزاد اسلامی واحد میبد

چکیده

امروز کلان داده به عنوان یک منبع غنی و ارزشمند برای رنج گسترده ای از سازمان ها به رسمیت شناخته شده است که به داده های تولیدشده از انواع منابع با حجم بسیار زیاد، سرعت بالا و ساختمان داده متفاوت را کلان داد می نامند. به علت اینکه داده ها بدون در نظر گرفتن شرایط کلان داده ها و در ضمن طراحی و بیشتر آن ها مبتنی بر معماری متمرکز ساخته شده اند برای کلان داده ها مناسب نیستند زیرا منجر به هزینه بالا، عملکرد و کیفیت پایین پردازش می شوند از این رو پردازش و تجزیه و تحلیل کلان داده ها امروز به یک چالش برای سیستم های اخیر تبدیل شده است. در این مقاله چالش های تجزیه و تحلیل کلان داده ها در جنبه های مقیاس داد، ناهمگونی داد و پردازش به موقع داده ها برای تجزیه و تحلیل عمیق کلان داده ها مرور شده و همچنین ابزارهایی از جمله پایگاه داده های NOSQL و مدل برنامه نویسی موازی توزیعی MapReduce عنوان راه حل هایی برای تجزیه و تحلیل کلان داده بررسی شده اند و در نهایت موفقیت اجرای مدل برنامه نویسی توزیعی MapReduce نسبت به ساختارهای سنتی در قالب نمونه هایی نشان داده شده اند .

کلیدواژه ها

تجزیه و تحلیل کلان داده، چالش های کلان داده، کلان داده، MapReduce ،NOSQL

مقالات مرتبط جدید

اطلاعات بیشتر در مورد COI

COI مخفف عبارت CIVILICA Object Identifier به معنی شناسه سیویلیکا برای اسناد است. COI کدی است که مطابق محل انتشار، به مقالات کنفرانسها و ژورنالهای داخل کشور به هنگام نمایه سازی بر روی پایگاه استنادی سیویلیکا اختصاص می یابد.

کد COI به مفهوم کد ملی اسناد نمایه شده در سیویلیکا است و کدی یکتا و ثابت است و به همین دلیل همواره قابلیت استناد و پیگیری دارد.