استفاده از شبکه های عصبی گرافی و مکانیزم توجه برای تشخیص حرکت انسان مبتنی بر داده های اسکلتی

در سال های اخیر شبکه های کانولوشن گرافی (GCN) عملکرد قابل توجهی در زمینه ی تشخیص حرکت مبتنی بر اسکلت به دست آورده اند. روش های مبتنی بر GCN موجود، معمولا توپولوژی های گرافی ثابت و یک فیلتر کانولوشنی زمانی ثابت را برای استخراج ویژگی های مکانی و زمانی یک حرکت اعمال می کنند. از آنجایی که یک حرکت انجام شده توسط انسان، از طریق بخش های مختلف بدن در حوزه های زمانی هماهنگ می شوند و ویژگی های مختلفی را در حوزه ی زمانی نشان می دهند، این کار باعث از دست رفتن اطلاعات زیادی برای یک حرکت می شود. برای پرداختن به این موضوع، در این مقاله یک شبکه ی عصبی گرافی مبتنی بر توجه (AT-AR) برای کشف ویژگی های متمایز از جنبه های مکانی و زمانی ارائه می کنیم. مدل پیشنهادی از یک کانولوشن SPG Net برای یادگیری ویژگی های مکانی – زمانی استفاده می کند.ما همچنین از دو ماژول توجه استفاده می کنیم. مکانیسم توجه STA، یک امتیاز توجه را با استفاده از ویژگی های زمانی ایجاد می کند، که می تواند همبستگی های زمانی یک حرکت را افزایش دهد و مکانیزم خودتوجه نیز مفاصلی را انتخاب می کند که برای تشخیص حرکت مهم تر هستند. این دو ماژول توجه در یک شبکه دوجریانی با هم ترکیب شده اند و با استفاده از ورودی یکسان در دیتاست NTU RGB+D ۶۰ کار تشخیص حرکت مبتنی بر اسکلت را انجام می دهند.

کلیدواژه ها:

تشخیص حرکت انسان ، داده اسکلتی ، مکانیسم توجه ، شبکه عصبی گرافی ، یادگیری عمیق