تجزیه و تحلیل داده های بزرگ تجاری در رایانش ابری مبتنی بر آپاچی اسپارک

حجم بالایی از داده های تجاری توسط برنامه های کاربردی یا در محیط وب مرتبا ایجاد می شود و نیاز است که این داده ها مورد تجزیه و تحلیل قرار گرفته تا دانش نهفته درون آنها آشکار شود. روش های یادگیری ماشین و داده کاوی از جمله تکنیک های مهم در تحلیل داده های تجاری است اما چالش آنها در این است که توانایی آنها برای پردازش داده های بزرگ اندک است و نیاز است از روش های توزیع شده آنها استفاده شود. در این پژوهش یک روش مبتنی بر پردازش توزیع شده توسط فناوری آپاچی اسپارک ارائه شده تا روش های داده کاوی و یادگیری ماشین مانند تکنیک های درخت تصمیم گیری، جنگل تصادفی و رگرسیون در این بستر اجرایی شده و تحلیل داده های تجاری در زمان واقعی انجام شود. برای پیاده سازی روش پیشنهادی از داده های مرتبط با مشتریان در کاربردهای تجاری و محیط پردازش ابری آپاچی اسپارک استفاده شده است. نتایج نشان می دهد از بین تکنیک های درخت تصمیم گیری، جنگل تصادفی و رگرسیون در آپاچی اسپارک و حالت غیرتوزیع شده تکنیک رگرسیون دارای حداقل خطای ممکن برای تحلیل داده های تجاری است و از طرفی جنگل تصادفی در بین تکنکی های درخت تصمیم گیری، جنگل تصادفی و رگرسیون چه در حالت توزیع شده و چه در حالت غیرتوزیع شده دارای حداقل زمان اجراء برای تحلیل داده ها است.

کلیدواژه ها:

داده های تجاری ، آپاچی اسپارک ، داده کاوی ، یادگیری ، کشف دانش