بهبود تشخیص احساسات گفتاری با DeBERTa-v۳ و شبکه عصبی پیچشی یک بعدی با بهره گیری از تلفات کانونی

تشخیص احساسات و بهبود گفتار (SER) از ارکان بنیادین تعامل میان انسان و ماشین به شمار می رود. در سال های اخیر رویکردهای گوناگونی برای تشخیص احساسات معرفی شده اند؛ با این حال رشد فزاینده فناوری نیاز به درکی ژرف تر از احساسات انسانی را پیش از پیش نمایان ساخته و پژوهشگران بسیاری را به سوی این حوزه سوق داده است. در اغلب مطالعات تمامی داده های صوتی مورد استفاده قرار می گیرند که این امر پیچیدگی سامانه را افزایش داده و عمق شناخت احساس را کاهش می دهد. در برخی مدل ها ساختارهایی همچون DropFormer توانسته اند بخشی از اطلاعات غیر ضروری را حذف کنند اما در مقابل از انعطاف پذیری الگوریتم کاسته اند. در این پژوهش ما معماری نوینی با عنوان DeBERTa-v۳ بر پایه ی Transformer پیشنهاد می کنیم که با ترکیب تلفات کانونی و وزن دهی مبتنی بر شبکه عصبی پیچشی (CNN) عملکردی هوشمند و دقیق در طبقه بندی احساسات ارائه می دهد. نتایج آزمایش ها نشان می دهد معماری ترکیبی Transformer-CNN در معیارهای مجموعه داده MELD با درصد دقت ۹۱.۰۹ برتری چشمگیری در دقت و درک احساسی گفتار کسب کرده است.

کلیدواژه ها:

تشخیص احساسات ، گفتار ، ترنسفورمر ، شبکه عصبی پیچشی ، DeBERT-V۳