بازشناسی حروف الفبای زبان اشاره فارسی ناشنوایان با استفاده از خوشه بندی kmeans و دنباله ای از تصاویر اشاره دست در پس زمینه پویا

در این مقاله، یک سامانه بینایی ماشین برای بازشناسی حروف الفبای زبان اشاره فارسی ناشنوایان با استفاده از دنباله ای از تصاویر اشاره دست (به عنوان یک ابزار ورود اطلاعات) ارائه می شود. لازم است علامت های الفبای زبان اشاره فارسی در پس زمینه پویا را به زبان طبیعی ترجمه کند. در روش ارائه شده، در مرحله ی استخراج ویژگی، ابتدا با استفاده از روش خوشه بندی kmeans حروف الفبای ناشنوایان را به دو، سه یا چهار خوشه تبدیل میشود، به نحوی که در هر خوشه حروفی قرار بگیرند که بیشترین شباهت را با یکدیگر داشته باشند. سپس برای بازشناسی علامتها با قابلیت اطمینان بالا، یک سیستم ترکیبی از چهار کلاس بند مختلف ماشین بردار پشتیبان و پرسپترون چند لایه و درخت های تصمیم و طبقه بندی بیزین برای هر نود این درخت پیشنهاد شده است، بطوری که در هر نود از یک دسته بند که بیشترین صحت بازشناسی برای آن نود را دارد، بکار رود. در این پژوهش، از یک مجموعه متشکل از 1800 تصاویر از 36 حالت مختلف دست که از حروف الفبای زبان اشاره فارسی هستند، استفاده شده است. نتایج آزمون سیستم ارائه شده، نشان می دهد که در شرایط مختلف (دارای منبع یا بدون منبع روشنائی، نزدیک یا دور بودن رنگ دست با پس زمینه)، متوسط میزان تشخیص درست حالت های زبان اشاره 99.59 % می باشد. همچنین، این سیستم می تواند با خطای کمتر از 0.4 % ، حالات دست را به درستی تشخیص می دهد. نرخ بازشناسی و قابلیت اطمینان سیستم بر روی مجموعه آموزشی پایگاه داده PSL به ترتیب 85.83 % و 99.21 % است که عملکرد سیستم رضایت بخش و مطلوب می باشد.

کلیدواژه ها:

آشکارسازی دست ، تشخیص حالت های دست ، پردازش تصویر ، بازشناسی علامت های زبان اشاره ، پس زمینه پویا