بازشناسی احساس از روی گفتار با استفاده از ترکیب رویکرد هرمی جدید شبکه های عصبی پیچشی سه بعدی و شبکه کپسول زمانی

گفتار غالبترین منبع ارتباطی بین انسانهاست و راهی کارآمد برای تعامل انسان و ماشین است. هدف از سیستم-های بازشناسی احساس از روی گفتار ایجاد ارتباط عاطفی بین انسان و ماشین است. چراکه بازشناسی احساس از رویگفتار و اهداف انسان از گفتار مکالمه شده به بهبود تعاملات بین انسان و ماشین کمک میکند. در این پژوهش از روش-های یادگیری عمیق و ترکیب مناسب آنها در جهت بهتر کردن کارایی این سیستم ها استفاده کردیم.پژوهش انجام شده در قسمت دسته بند، از دو بخش اساسی تشکیل شده است. در بخش اول، ویژگی های استخراجشده ی طیفی زمانی لگاریتم مل از ساختار هرمی جدید شبکه های عصبی پیچشی سه بعدی عبور داده می شود. در بخشدوم نقشه ویژگی بدست آمده از بخش اول را وارد شبکه کپسول زمانی می کنیم. در نهایت مدل پیشنهادی، که یک مدلقدرتمند برای سیستم های بازشناسی احساس از روی گفتار است را (NPC۳DCNN+TC) نامیدیم.پژوهش انجام شده و مدل نهایی روی ترکیب دو پایگاه داده معمولی و آوازی از پایگاه داده راودیس انجام شده است.ما در این پژوهش برای شش کلاسی احساسی به تفکیک جنسیت به دقت ۸۱.۷۷ درصد رسیدیم.

کلیدواژه ها:

بازشناسی احساس از روی گفتار ، رویکرد هرمی شبکه های عصبی پیچی سه بعدی ، شبکه کپسول زمانی ، یادگیری عمیق