اسپارک، موتور پردازش کلاه داده

سال انتشار: 1395
نوع سند: مقاله کنفرانسی
زبان: فارسی
مشاهده: 606

فایل این مقاله در 9 صفحه با فرمت PDF قابل دریافت می باشد

استخراج به نرم افزارهای پژوهشی:

لینک ثابت به این مقاله:

شناسه ملی سند علمی:

NCNIEE05_077

تاریخ نمایه سازی: 22 دی 1396

چکیده مقاله:

آپاچی اسپارک یک چارچوب متن باز بر مبنای محاسبات خوشه ای است که برای پردازش داده های حجیم مورد استفاده قرار می گیرد و بعنوان نسل جدیدی از موتورهای پردازش داده های حجیم در سال های اخیر مورد توجه ویژه ای قرار گرفته است و با سبقت گرفتن از مدل نگاشت و تجمیع هدوپ به سرعت در حال پیشرفت برای پردازش سریعتر داده های حجیم است. اسپارک علاوه بر اینکه تمامی نقاط قوت هدوپ را در خوددارد، نقاط ضعف آنرا نیز برطرف نموده است. پردازش درون حافظه ای، سرعت بالا (سرعت بالاتر (سرعتی تا 100 برابر برنامه های دیگر)، دارا بودن توابع API فراوان که این امر کار را برای برنامه نویسان و استفاده کنندگان راحتتر می کند. قابلیت برنامه نویسی در پایتون، اسکالا، جاودا و حتی زبان R و موتور پردازش متحد و یکپارچه، تنها بخشی از نقاط قوت اسپارک بعنوان موتور پردازشی داده های حجیم است. در این مقاله به معرفی اسپارک و ساختار آن می پردازیم و چالش های پیش روی این موتور پردازش کلان داده را بررسی می کنیم.

نویسندگان

احمد عربزاده کوپایی

دانشجوی دکتری تخصصی گروه کامپیوتر، دانشکده فنی مهندسی، دانشگاه آزاد اسلامی، واحد خوراسگان، اصفهان، ایران

علیرضا نوروزی

عضو هییت علمی، دانشگاه آزاد اسلامی، واحد مجلسی، اصفهان، ایران

جواد رستگاری

دانشجوی دکتری تخصصی گروه کامپیوتر، دانشکده فنی مهندسی، دانشگاه آزاد اسلامی، واحد خوراسگان، اصفهان، ایران