شناسایی زبان اشاره با استفاده از مدل مقیاس بندی مرکبEfficientNet

افرادی که توانایی صحبت کردن ندارند برای برقراری ارتباط با یکدیگر و دیگران از زبان اشاره استفاده میکنند. این زبان شامل حرکات دست، بدن و حالات چهره است. بهدلیل ناشناخته بودن زبان اشاره برای عموم افراد جامعه، افراد ناشنوا و ناتوان در صحبت کردن در ارتباطات اجتماعی دچار مشکل میشوند. بنابراین به واسطی نیاز است تا بتواند زبان اشاره را شناسایی کند. در این مقاله زبان اشاره از طریق مدل مقیاسبندی مرکب EfficientNet شناسایی میشود. در این الگوریتم از مجموعه داده تصویری که شامل ۳۹۰۰۰ تصویر در ۲۶ کلاس است، استفاده شده است. برای هر کلاس ۱۵۰۰ تصویر درنظر گرفته شده است. EfficientNet دارای دو نسخه است. نسخه اول شامل هشت و نسخه دوم شامل هفت زیرشاخه است. مدلهای مورد نظر با استفاده از کتابخانه کراس (Keras) و با زبان برنامه نویسی پایتون شبیه سازی شد. مجموعه داده مورد نظر به هر ۱۵ زیرشاخه EfficientNet اعمال شده است. نتایج شبیه سازیها نشان میدهد که دقت تشخیص زبان اشاره با استفاده از شبکه های EfficientNetV۲بیشتر از ۹۹ درصد است.

کلیدواژه ها:

بینایی ماشین ، پردازش تصویر ، تشخیص زبان اشاره ، یادگیری انتقالی ، یادگیری عمیق.