شبکه دو جریانی مبتنی بر توجه برای تشخیص حرکت چند نمایی با استفاده از داده های اسکلتی

با پیشرفت تکنولوژی و استفاده روز افزون از ماشین های هوشمند، سیستم های تشخیص حرکت انسانی به یک موضوع مهم در حوزه بینایی ماشین تبدیل شده اند. در سال های اخیر و به لطف ویژگی های مختصر و مفید داده های اسکلتی، روش های تشخیص حرکت مبتنی بر اسکلت با استفاده از شبکه های کانولوشن گرافی (GCN) عملکرد قابل توجهی را به دست آورده اند. در روش های قبلی، از کانولوشن های محلی یک بعدی برای استخراج روابط زمانی بین فریم های مجاور استفاده می شود و از همبستگی های بین فریم های نامجاور غافل می شوند. از طرفی حرکت های انسان، شامل تغییرات زمانی زیادی است که یک وابستگی زمانی قوی را بین حرکات مفاصل نشان می دهد. بنابراین تشخیص یک حرکت، مستلزم تحلیل جامعی از همبستگی های بین مفاصل در حوزه های مکانی (spatial) و زمانی (temporal) است. در این مقاله شبکه ای به نام MV AT-AR پیشنهاد شده است که با استفاده از مکانیزم توجه، همبستگی های بین مفاصل را در زمان های مختلف یاد می گیرد. معماری شبکه پیشنهادی از دو جریان ورودی استفاده می کند و با استفاده از گراف مکمل اسکلتی، خصوصیات مختلف اسکلت انسان را منعکس می کند، که باعث تشخیص حرکت با دقت بالا می شود. ارزیابی تجربی روی مجموعه داده NTU RGB+D نشان می دهد که شبکه پیشنهادی به دقت ۷/۹۶ درصدی دست یافته است.

کلیدواژه ها:

تشخیص حرکت انسان ، داده اسکلتی ، شبکه کانولوشن گرافی ، مکانیسم توجه ، یادگیری عمیق