سیستم تحلیل احساسات مبتنی بر کلان داده و یادگیری ماشین

در عصر دیجیتال، حجم عظیمی از داده های متنی تولیدشده در شبکه های اجتماعی، وب سایت های تجارت الکترونیک و سامانه های بازخورد مشتریان، به منبعی ارزشمند برای سازمان ها تبدیل شده است. تحلیل احساسات (Sentiment Analysis) به عنوان یکی از شاخه های مهم پردازش زبان طبیعی (NLP)، امکان استخراج خودکار عقاید و احساسات نهفته در این داده ها را فراهم می آورد. بااین حال، پردازش این حجم کلان از داده ها با روش های سنتی و تک نود معمولا با چالش های جدی از قبیل محدودیت منابع، تاخیر بالا و ناتوانی در مقیاس پذیری مواجه می شود. در این مقاله، معماری نرم افزاری یک سیستم توزیع شده برای تحلیل احساسات در مقیاس کلان داده طراحی و ارائه شده است. معماری پیشنهادی متشکل از لایه های جمع آوری داده، ذخیره سازی توزیع شده، پردازش جریانی، تحلیل مبتنی بر یادگیری ماشین و نمایش نتایج است. همچنین، رویکردهای مختلف تحلیل احساسات اعم از روش های مبتنی بر واژگان، یادگیری ماشین سنتی و یادگیری عمیق به صورت تطبیقی بررسی شده و مزایا و معایب هر یک از منظر مهندسی نرم افزار تحلیل می گردد. نتایج نشان می دهد به کارگیری معماری توزیع شده مبتنی بر Spark و Kafka به همراه مدل های زبانی پیش آموزش دیده (مانند BERT) می تواند دقت و مقیاس پذیری مطلوبی را در تحلیل احساسات فراهم آورد.

کلیدواژه ها:

کلان داده ، تحلیل احساسات ، معماری نرم افزار ، یادگیری ماشین ، پردازش زبان طبیعی ، پردازش توزیع شده.