بازشناسی بلادرنگ ژست دست در تعامل انسان با روبات

در این مقاله یک الگوریتم مبتنی بر بینایی ماشین ارائه می شود که می تواند به صورت بلادرنگ حالت های دست کاربران راتشخیص دهد.در ابتدا از دوربین کینکت برای گرفتن تصاویر رنگی و عمقی استفاده شده است،سپس با حذف پس زمینه و تغییر مقیاس دست کاربران تشخیص داده می شود و با الگوریتم تبدیل ویژگی های تغییر ناپذیر با مقیاس (sift) استخراج ویژگی صورت می گیرد،بردار ویژگی استخراج شده در درخت لغات (vocabulary tree) با خوشه بندی k-means کاهش بعد داده می شود و سپس با الگوریتم TF_IDF درخت را نمره دهی می کنیم. در نهایت تصویری که بیشترین نمره را کسب نماید به عنوان خروجی در نظر گرفته می شود. سپس ژست دست با یک روش بازشناسی سطح بالا به نام گرامر مستقل از متن تصادفی (SCFG). بازشناسی می شود. الگوریتم پیشنهادی ما ژست های مختلف را با سرعت 30 فریم بر ثانیه و با دقت بالای 95 % بازشناسی می کند.

کلیدواژه ها:

حالت دست ، ژست دست ، sift ، vocabulary tree ، بینایی ماشین