پردازش توزیع شده داده های کوچک توسط فریم ورک Hadoop
- سال انتشار: 1395
- محل انتشار: کنفرانس بین المللی فناوری اطلاعات ایران
- کد COI اختصاصی: FBFI02_028
- زبان مقاله: فارسی
- تعداد مشاهده: 692
نویسندگان
دانشجوی کارشناسی ارشد مهندسی کامپیوتر، واحد سپیدان ، دانشگاه آزاد اسلامی ، سپیدان ، ایران
دانشجوی کارشناسی ارشد مهندسی کامپیوتر، واحد سپیدان ، دانشگاه آزاد اسلامی ، سپیدان ، ایران
گروه مهندسی کامپیوتر، واحد سپیدان، دانشگاه آزاد اسلامی، سپیدان، ایران
چکیده
هدوپ یک فریم ورک متن باز برای ذخیره سازی امن و پردازش توزیع شده داده های حجیم می باشد، که دارای دو بخش اصلی سیستم فایل توزیع شده هدوپ و موتور پردازش نگاشت و کاهش می باشد. ساختار هدوپ برای کار با داده های بزرگ طراحی شده لذا زمانی که ما دارای فایل های کوچک کلان هستیم هدوپ نمیتواند برخورد مناسبی در مواجه با این مساله از خود نشان دهد و باعث ایجاد بار سنگین بر روی گره اصلی هدوپ و افزایش زمان پردازش نگاشت و کاهش می شود. راهکار های متفاوتی میتواند در برخورد با داده های کوچک به کار برده شود تا باعث بهبود عملکرد ذخیره سازی و پردازش و محاسبات هدوپ شود. در این مقاله به روش هایی که میتواند به بهبود پردازش داده های کوچک در هدوپ کمک کند پرداخته می شودکلیدواژه ها
کلان داده ( Big Data )، هدوپ (Hadoop) ، فایل سیستم توزیع شده هدوپ (HDFS) ، نگاشت ، کاهش (MapReduce) ، فایل کوچک (Small file)مقالات مرتبط جدید
اطلاعات بیشتر در مورد COI
COI مخفف عبارت CIVILICA Object Identifier به معنی شناسه سیویلیکا برای اسناد است. COI کدی است که مطابق محل انتشار، به مقالات کنفرانسها و ژورنالهای داخل کشور به هنگام نمایه سازی بر روی پایگاه استنادی سیویلیکا اختصاص می یابد.
کد COI به مفهوم کد ملی اسناد نمایه شده در سیویلیکا است و کدی یکتا و ثابت است و به همین دلیل همواره قابلیت استناد و پیگیری دارد.