بازشناسی هیجان از گفتار با معماری ترکیبی CNN-BiLSTM مبتنی بر مکانیسم توجه

بازشناسی هیجان از گفتار (Speech Emotion Recognition: SER) یکی از چالش های مهم در حوزه علم داده پردازش سیگنال صوتی است که هدف آن تشخیص هیجان های انسانی از طریق تحلیل سیگنال گفتار است. در این پژوهش، به منظور استخراج همزمان ویژگی های مکانی-زمانی و مدلسازی الگوهای هیجانی پیچیده یک معماری ترکیبی شامل شبکه های CNN و BiLSTM مبتنی بر مکانیسم توجه ارائه شده است. ورودی مدل برداری ۵۰۷۰ بعدی از ویژگی های دست ساز شامل ویژگی های طیفی و زمانی فرکانسی است که از سیگنال خام گفتار در پایگاه داده EMO-DB استخراج شده اند. ارزیابی مدل پیشنهادی در چارچوب اعتبارسنجی (LOSO Leave-One-Speaker-Out) نشان می دهد که روش ارائه شده به دقت کلی ۶۴.۰۰۴ در طبقه بندی هفت کلاس هیجانی دست یافته است.