مدل تشخیص احساسات افراد برپایه تغییرات حالات صورت در ویدئو با استفاده از شبکه ی ترکیبی CNN-RNN-RBM

حالات صورت از مهمترین تکنیک های ارتباط غیرکلامی است که انسان از آن برای نشان دادن حالات احساسی خود و برقراری ارتباط غیر کلامی استفاده می کند. در پژوهشهای اخیر، در زمینه تشخیص احساسات بر پایه تغییرات حالات چهره از شبکه های یادگیری عمیق استفاده میشود. در این خصوص با توجه به نوع داده شبکه مناسب انتخاب میگردد. در تحقیق حاضر، از داده های ویدئویی استفاده میشود و برای تشخیص حالات چهره، از شبکه های بازگشتی استفاده می شود. در ادامه به منظور دستیابی به نتایج بهتر، شبکه ی ترکیبی متشکل از شبکه پیچشی، بازگشتی و بولتزمن محدود شده نیز استفاده شده است. در نهایت در این مقاله، با استفاده از تکنیک یادگیری عمیق و زبان Python، الگوریتمی مبتنی بر شبکه عصبی ترکیبی CNN-LSTM-RBM برای تشخیص احساسات توسط حالات صورت در یک ویدئو، ارائه شده است. در این روش، هفت حالت (شاد، غمگین، نفرت، هیجان، حقارت آمیز، ترس و عصبانیت) تشخیص داده می شود. برای آموزش و تست مدل ارائه شده، از دیتاست CK+۴۸ استفاده شده است. با توجه به نتایج بدست آمده دقت آموزشی شبکه عصبی پیشنهادی ۱۰۰% و هزینه آموزشی ۰.۰۲ میباشد که نتایج نشان دهنده عملکرد مطلوب و مناسب روش پیشنهادی میباشد.

کلیدواژه ها:

تشخیص احساسات ، شبکه عصبی ترکیبی ، شبکه پیچشی ، شبکه بازگشتی ، شبکه باور عمیق