تشخیص حرکات انسان در تصاویر با بهبود روشهای مبتنی بر اسکلت

در دهه گذشته، زندگی انسان ها به طور چشمگیری تحت تاثیر کامپیوتر و شبکه های ارتباطی بوده است .کامپیوتر در انجام انواع محاسبات پیچیده و گسترش ارتباطات پیشرفت سریع و موثری داشته اند . همراه با این پیشرفت ها، تعداد فایل های تصویری و ویدئویی به صورت نمایی رشد یافته است . توانایی تحلیل و جست و جو بین این حجم عظیم داده های ویدیویی و تفسیر خودکار این اطلاعات اهمیت خاص پیدا میکند . تشخیص فعالیت انسان ها یکی از زمینه های تحقیقاتی مهم در حوزه بینایی ماشین می باشد که کاربردهایی در زمینه های مختلف اعم از نظارت بر امنیت عمومی، تعامل انسان و رایانه ، صنعت و غیره موجب اهمیت روزافزون این حوزه نزد پژوهشگران شده است به طور کلی چالش های این حوزه مربوط به شرایط فیلم برداری، کیفیت دوربین، تنوع اجرای عمل می باشد و از انجایی که در سال های اخیر شاهد پیشرفت قابل توجهی در زمینه تکنولوژی دوربین عمق سنج و همچنین شبکه های عصبی بودیم، فرصتی شگرف برای کار در زمینه تشخیص نوع حرکت های انسانی فراهم گشته است. در این پایان نامه ما به بهینه سازی روشی پرداختیم که با هدف تشخیص رفتار انسان با استفاده از دنباله اسکلت سه بعدی با ادغام شبکه عصبی کانولوشنال سه جریانی و در انتها طبقه بندی کننده ماشین برداری می پردازد. روش های سنتی تشخیص کنش عمدتا از ویدیوی RGB به عنوان تصویر ورودی استفاده می کردند.با این حال، ویدیوی RGB مشکلات زیادی مانند حجم زیاد داده، بار معنایی کم، ایجاد مدل با اطلاعات نامربوط مانند پس زمینه و ... را به دنبال داشت. اطلاعات کارآمد و پیشرفته انسانی موجود در توالی اسکلت سه بعدی تشخیص رفتار انسان را تسهیل می کند. ابتدا اطلاعات مختصات سه بعدی، اطلاعات تفاوت زمانی و اطلاعات تفاوت فضایی مفاصل از داده های اسکلت خام، استخراج شده و اطلاعات فوق به شبکه عصبی کانولوشن مربوطه وارد می شود. سپس، مدل شبکه از پیش آموزش دیده، ویژگی حاوی اطلاعات زمانی مکانی مهم را استخراج می کنند. در نهایت، بردارهای ویژگی ترکیب شده به دست آمده از مراحل قبل برای آموزش و طبقه بندی وارد ماشین بردار پشتیبان می شوند.

کلیدواژه ها:

یادگیری عمیق ، شبکه عصبی کانولوشن ، بینایی ماشین ، توالی اسکلت سه بعدی ، حافظه طولانی ، حافظه کوتاه مدت ، شبکه عصبی کانولوشنال سه جریانی ، گراف مفاصل ، ماشین بردار پشتیبان