تشخیص وضعیت بدن انسان با استفاده از نقاط کلیدی MediaPipe

در این گزارش بازطراحی سامانه تشخیص وضعیت بدن انسان ایستادن، نشستن خوابیدن شرح داده می شود. نسخه ی اولیه ی این سامانه با استفاده از کتابخانه ی MediaPipe برای استخراج نقاط کلیدی بدن و سپس یک مجموعه قاعده دستی مبتنی بر زاویه ی مفاصل زانو، تنه و سر برای طبقه بندی وضعیت پیاده سازی شده بود. با توجه به بازخورد دریافت شده این منطق مبتنی بر قانون با یک مدل یادگیری عمیق جایگزین شد. برای این منظور از ۲۵ کلیپ ویدئویی برچسب گذاری شده ی موجود پوشه های ۱ تا ۳۴ استفاده گردید. دو معماری شبکه عصبی طراحی و آموزش داده شد یک پرسپترون چندلایه که روی نقاط کلیدی هر فریم به صورت مستقل عمل می کند و یک شبکه ی بازگشتی دروازه دار (GRU) که دنباله ای از ۸ فریم متوالی را برای در نظر گرفتن اطلاعات حرکتی پردازش می نماید. ارزیابی روی نشست های کاملا کنار گذاشته شده Split Session-level نشان داد مدل MLP با دقت %۸۶٫۶ و معیار F۱ وزن دار ۸۶٫۳ عملکرد بهتری نسبت به مدل GRU (دقت ۶۸٫۴) دارد؛ که علت اصلی آن تعداد محدود نشست های آموزشی (۱۷ نشست) و گرایش مدل توالی به بیش برازش است. در نهایت محدودیت های داده، نبود کلاس مجزا برای «افتادن و سرخوردن» و کیفیت پایین تشخیص ژست در برخی نشست ها و مسیرهای پیشنهادی برای کار آینده بررسی شده اند.

کلیدواژه ها:

تشخیص وضعیت بدن ، یادگیری عمیق ، MediaPipe Pose ، پرسپترون چندلایه ، شبکه بازگشتی دروازه دار (GRU) ، تشخیص افتادن