یک روش تحلیل داده های بزرگ کسب و کار های تجاری با استفاده از فناوری آپاچی اسپارک

امروزه حجم بالایی از داده های تجاری در فضای مجازی ایجاد می شود که مرتبط با انواع کسب و کارهای آنلاین است . مسلما دادههای بکار رفته در اینترنت که حاصل فعالیتهای تجاری می باشند دارای اطلاعات باارزش و مهمی می باشند که می توان با روشهای کشف دانش مانند داده کاوی و یادگیری ماشین تا حدود زیادی این دانش را استخراج نمود. چالش مهم در پردازش و تحلیل دادههای مرتبط به کسب و کارهای آنلاین آن است که حجم آنها بیش از اندازه در حال افزایش است و از این جهت پردازش آنها در زمان واقعی ممکن نبوده و نیاز به زمان زیادی برای پردازش دارند زیرا این دادهها می توانند از نوع کلان داده باشند و زمان پردازش آنها بیش از حد انتظار است . یکی از روشهای پردازش کلان داده استفاده از فناوری پردازش توزی شده در سیستم های مانند آپاچی اسپارک است که در این مقاله یک چارچوب مبتنی بر کتابخانه های یادگیری ماشین در اسپارک برای پردازش کلان داده تجاری ارایه می شود تا در زمان اندک و نیزدیک به زمان واقعی دادههای تجاری را مورد پردازش قرار دهد. آزمایشات نشان می دهد روش پیشنهادی در بستر اسپارک شتاب یادگیری در تکنیک های ماشین بردار پشتیبان، درخت تصمیم گیری و جنگل تصادفی را به ترتیب ۶. ۹۶.۲۲، ۸۶.۷ و ۶۹.۵ برابر می نماید از طرفی خطای این روشها برای تشخیص و اعتبارسنجی مشتریان به ترتیب برابر ۵۷۲.۰، ۵۳۳.۰ و ۴۹۱.۰ است .

کلیدواژه ها:

آپاچی اسپارک ، دادهکاوی ، نگاشت و کاهش ، یادگیری ماشین توزیع شده