بررسی عملکرد چارچوبهای کلان داده با الگوریتم یادگیری ماشین
سال انتشار: 1397
نوع سند: مقاله کنفرانسی
زبان: فارسی
مشاهده: 382
متن کامل این مقاله منتشر نشده است و فقط به صورت چکیده یا چکیده مبسوط در پایگاه موجود می باشد.
توضیح: معمولا کلیه مقالاتی که کمتر از ۵ صفحه باشند در پایگاه سیویلیکا اصل مقاله (فول تکست) محسوب نمی شوند و فقط کاربران عضو بدون کسر اعتبار می توانند فایل آنها را دریافت نمایند.
- صدور گواهی نمایه سازی
- من نویسنده این مقاله هستم
این مقاله در بخشهای موضوعی زیر دسته بندی شده است:
استخراج به نرم افزارهای پژوهشی:
شناسه ملی سند علمی:
ICMAES01_068
تاریخ نمایه سازی: 30 دی 1397
چکیده مقاله:
رشد و گسترش روزافزون حجم اطلاعات به پدیده بیسابقهای در دنیای امروز تبدیل شده است. تجزیه و تحلیل و ذخیره سازی چنین حجم عظیمی از اطلاعات خواستار ایده های جدیدی است که توانایی پردازش و مدیریت این حجم از اطلاعات را داشته باشد. هدوپ و اسپارک دو بستر پردازش داده توزیع شده هستند. هدوپ یکی از چارچوبهای متن باز است که براساس مدل برنامه نویسی نگاشت و کاهش به منظور پردازش کلان داده ها پیاده سازی شده است. اسپارک یک چارچوب متن باز برای پردازش کلان داده میباشد که برای افزایش سرعت، راحتی در استفاده و پردازشهای پیچیده طراحی شده است. در این مقاله، این دو بستر پردازش داده از لحاظ زمان اجرا، میزان مصرف حافظه و میزان بهره وری پردازنده مرکزی با اجرای الگوریتم KNN مورد ارزیابی و مقایسه قرار گرفته اند. نتایج بدست آمده از برتری 2 الی 4 برابری اسپارک نسبت به هدوپ در مدت زمان اجرای برنامه حکایت دارد. از طرفی میزان استفاده از حافظه در اسپارک بیشتر از هدوپ است. همچنین ارزیابیها نشان میدهد هدوپ به میزان بیشتری از پردازنده مرکزی استفاده میکند.
کلیدواژه ها:
نویسندگان
مریم فرهمندزاده
دانشگاه تهران