(LSTM)تشخیص افراد گرفتار در حریق با استفاده از ترکیب تصاویر حرارتی و شبکه عصبی بازگشتی مبتنی بر حافظه کوتاه مدت طویل

یکی از چالش های اصلی تیم های امداد و نجات در آتشسوزی ساختمان ها، شناسایی سریع و دقیق افراد گرفتار در میان دود و تاریکی است. دوربین های معمولی (مرئی) در شرایط دود غلیظ عملا کور می شوند، در حالی که دوربین های حرارتی (Thermal) قادرند گرمای بدن انسان را حتی از پشت پرده دود تشخیص دهند. اما تصاویر حرارتی به تنهایی کافی نیستند، زیرا اجسام گرم دیگر (مانند لامپ، وسایل برقی، لوله های داغ) نیز مشابه انسان دیده می شوند و باعث هشدار کاذب می گردند. هدف این مقاله طراحی یک سامانه هوشمند برای تشخیص افراد گرفتار با استفاده از ترکیب تصاویر حرارتی و یک شبکه عصبی بازگشتی از نوع حافظه کوتاه مدت طویل (LSTM) است که حرکت انسان را در طول زمان تحلیل کرده و انسان را از اشیاء بی جان گرم تشخیص می دهد. روش تحقیق شامل جمع آوری یک مجموعه داده ویدئویی حرارتی شامل ۵۰ ویدئو (مجموعا ۱۰۰۰۰ فریم) از افراد در حال حرکت (راه رفتن، دست تکان دادن، نشسته) و اشیاء گرم ثابت (لامپ، بخاری، لوله)، پیش پردازش فریم ها، استخراج ویژگی های حرکتی (تغییرات پیکسل ها در طول زمان)، و آموزش یک شبکه LSTM با ۶۴ واحد حافظه و دو لایه پنهان بر روی توالی های ۳۰ فریمی بود. ارزیابی مدل بر روی ۲۰ درصد داده های آزمایشی انجام شد. یافته ها نشان داد که مدل پیشنهادی قادر است افراد را با دقت ۹۶ درصد و نرخ هشدار کاذب (تشخیص اشتباه شیء گرم به عنوان انسان) تنها ۳ درصد شناسایی کند. این مقادیر در مقایسه با روش مبتنی بر تصویر حرارتی تنها (که دقت ۸۲ درصد و هشدار کاذب ۱۵ درصد داشت) بهبود چشمگیری است. زمان پردازش هر فریم بر روی یک رایانه معمولی حدود ۰/۰۸ ثانیه بود که برای کاربرد عملیاتی (با کاهش نرخ فریم به ۵ فریم در ثانیه) قابل قبول است. این سامانه می تواند بر روی پهپادهای امدادی یا ربات های جستجوگر نصب شده و به آتشنشانان در یافتن سریع تر افراد گرفتار کمک کند.

کلیدواژه ها:

تشخیص افراد گرفتار ، تصاویر حرارتی ، شبکه عصبی بازگشتی ، ، امداد و نجات ، آتشنشانی