مقایسه عملکرد Hadoop- Mapreduceو Spark
- سال انتشار: 1397
- محل انتشار: کنفرانس ملی تحقیقات نوین در مهندسی برق،کامپیوتر و فناوری اطلاعات
- کد COI اختصاصی: ECIT01_092
- زبان مقاله: فارسی
- تعداد مشاهده: 771
نویسندگان
دانشجوی کارشناسی ارشد ، دانشکده فنی و مهندسی ، گروه کامپیوتر ، دانشگاه آزاد اسلامی ، واحد مبارکه ، اصفهان ، ایران
چکیده
امروزه با رشد روز افزون ابزارهایی مانند شبکه های اجتماعی و ظهور مفاهیمی همچون وب معنایی حجم داده ها و پردازش آنها بطور شگفت انگیزی افزایش یافته است . برای نمونه یک موتور جستجو در کسری از ثانیه نتایج جستجوهای کاربر را آماده می کند که این ناشی از تحلیلی کارآمد روی داده های حجیم جمع آوری شده از سطح وب می باشد ، بنابراین وجود مکانیزمی برای پردازش داده های حجیم با هزینه ای مقرون به صرفه بسیار پر اهمیت است . در این مقاله قصد داریم الگوریتم های ترکیبی در چارچوب ماهوت براساس مدل Hadoop- Mapreduceو Spark را مورد مقایسه قرارداده و نقاط ضعف و قوت هریک را بررسی نماییم . نتایج مقایسات نشان می دهد که اسپارک علاوه بر داشتن تمامی نقاط هدوپ نقاط ضعف آن را نیز توسط پردازش درون حافظه ای ، سرعت بالاتر ، دارا بودن توابع API فراوان که این امر کار را برای برنامه نویسان و استفاده کنندگان راحت تر می کند ، قابلیت برنامه نویسی در پایتون ، اسکالا ، جاوا و حتی زبانR و موتور پردازش متحد و یکپارچه نیز بخشی از نقاط قوت اسپارک می باشد . حال آن که Mapreduce یک مدل پردازش داده با مقیاس پذیری آسان پردازش داده روی چندین گره محاسباتی است این پاردایم برنامه را در دو فاز نگاشت و کاهش اجرا می کند.کلیدواژه ها
هدوپ ، مپ ریدیوس ، اسپارک .مقالات مرتبط جدید
اطلاعات بیشتر در مورد COI
COI مخفف عبارت CIVILICA Object Identifier به معنی شناسه سیویلیکا برای اسناد است. COI کدی است که مطابق محل انتشار، به مقالات کنفرانسها و ژورنالهای داخل کشور به هنگام نمایه سازی بر روی پایگاه استنادی سیویلیکا اختصاص می یابد.
کد COI به مفهوم کد ملی اسناد نمایه شده در سیویلیکا است و کدی یکتا و ثابت است و به همین دلیل همواره قابلیت استناد و پیگیری دارد.