بازشناسی احساسات از روی گفتار با استفاده از شبکه های عصبی عمیق و یادگیری انتقالی

در دنیای امروز، با پیشرفت های چشمگیر در فناوری های پردازش زبان طبیعی و یادگیری ماشین، ترجمه اتوماتیک به یکی از ابزارهای کلیدی برای تسهیل ارتباطات بین المللی تبدیل شده است. یکی از چالش های اساسی در این زمینه، توانایی درک و انتقال احساسات نهفته در گفتار انسان ها است. بازشناسی احساسات از گفتار می تواند به سیستم های ترجمه اتوماتیک کمک کند تا معانی دقیق تری از متن را استخراج کنند. برای مثال، جملات با بار عاطفی بالا ممکن است نیاز به ترجمه ای متفاوت نسبت به جملات بی احساس داشته باشند. بازشناسی احساسات به مترجم های خودکار این امکان را می دهد که نه تنها به معنی کلمات بلکه به لحن و حالت عاطفی گوینده نیز توجه کنند. این بدان معناست که یک جمله ممکن است به دو شکل کاملا متفاوت بیان شود؛ مثلا یک جمله طنزآمیز یا جدی. آموزش و ارزیابی بیشتر سیستم های بازشناسی احساسات از گفتار فعلی با استفاده از یک مجموعه داده واحد و در یک زبان واحد انجام می شود. در بسیاری از کاربردهای عملی، تفاوت های زیادی بین مجموعه های داده آموزشی و آزمایشی وجود دارد. این تفاوت ها زمانی رخ می دهند که مجموعه های داده آموزشی (مبدا) و آزمایشی (مقصد) از زبان ها، لهجه ها، فرهنگ ها و توزیعهای متفاوتی به دست آمده باشند. ناهمگونی بین مجموعه های داده می تواند عملکرد و تعمیم پذیری روش های فعلی بازشناسی احساسات از گفتار را کاهش دهد. بنابراین، موضوع تحقیقاتی به نام بازشناسی احساسات از گفتار بین مجموعه ای آغاز شده است. برای مقابله با تغییرپذیری های گفتار در سیستم های تشخیص احساسات گفتاری بین زبانی بازشناسی احساسات از گفتار، محققان پیشنهاد کرده اند از روش های تطبیق دامنه استفاده کنند. تکنیک های تطبیق دامنه در سایر زمینه های تحقیقاتی مانند بینایی ماشین و طبقه بندی تصاویر، تشخیص گوینده و سنتز متن به گفتار نیز به کار گرفته اند. این مقاله، یک روش یادگیری انتقال عمیق را برای تشخیص احساسات گفتاری بین-مجموعه ای پیشنهاد می کنیم که در آن از دو شبکه عصبی کانولوشنی

کلیدواژه ها:

بازشناسی احساسات گفتاری ، شبکه های عصبی عمیق ، یادگیری انتقالی