مروری بر داده های بزرگ و فناوری پردازش هدوپ و آپاچی اسپارک

سال انتشار: 1397
محل انتشار: چهارمین کنفرانس ملی فناوری در مهندسی برق، کامپیوتر
کد COI اختصاصی: TECCONF04_189
زبان مقاله: فارسی
تعداد مشاهده: 824

نویسندگان

گروه کامپیوتر،واحد اراک، دانشگاه آزاد اسلامی،اراک،ایران

چکیده

امروزه حجم بالایی از اطلاعات توسط ابزارهای مانند برنامه های کاربردی، اینترنت، وبسایتها، شبکه های اجتماعی و اینترنت اشیاء ایجاد میشود که نوع آنها کلان داده است. کلان داده در واقع حجم بالایی از داده است که دارای ارزش اطلاعاتی بالا و نهفته است از این جهت تجزیه و تحلیل آنها باعث میشود که این دانش مفید استخراج شود. پردازش این حجم زیاد از اطلاعات قاعدتا0 با زمان زیاد و البته فناوری خاص نیاز دارد تا اطلاعات و الگوهای مفید دانش استخراج گردد. یکی از فناوری های پردازش کلان داده که بر اساس سیستمهای پردازش توزیع شده عمل مینماید استفاده از فناوری آپاچی اسپارک در پردازش کلان داده است. آپاچی اسپارک یک بستر پردازش کلان داده است و میتوان آن را نسخه پیشرفته فناوری هدوپ نیز در نظر گرفت. سیستم پردازش آپاچی اسپارک برای پردازش توزیع شده خود از فناوری پردازش مبتنی بر نگاشت و کاهش استفاده مینماید و پردازش را بر روی مجموعه ای از خوشه ها یا کلاسترها اجراء می نماید و میتوان زمان پردازش داده ها را کاهش دهد. در این مقاله مروری خواهیم داشت بر فناوری محاسبات ابری، پردازش توزیع شده آپاچی اسپارک، هدوپ، نگاشت وکاهش که در واقع در یک راستاء قرار دارند. نتایج مطالعاتی ما نشان میدهد استفاده از فناوری آپاچی اسپارک به علت استفاده از حافظه اصلی در پردازشها تا 10 برابر شتاب بیشتری نسبت به معماریهای رقیب مانند هدوپ دارد.

کلیدواژه ها

محاسبات ابری، پردازش توزیع شده، هدوپ، آپاچی اسپارک، نگاشت و کاهش

مقالات مرتبط جدید

اطلاعات بیشتر در مورد COI

COI مخفف عبارت CIVILICA Object Identifier به معنی شناسه سیویلیکا برای اسناد است. COI کدی است که مطابق محل انتشار، به مقالات کنفرانسها و ژورنالهای داخل کشور به هنگام نمایه سازی بر روی پایگاه استنادی سیویلیکا اختصاص می یابد.

کد COI به مفهوم کد ملی اسناد نمایه شده در سیویلیکا است و کدی یکتا و ثابت است و به همین دلیل همواره قابلیت استناد و پیگیری دارد.