بهبود تقطیع معنایی ویدئو با استفاده از شبکه های عصبی عمیق و جریان نوری

امروزه از تقطیع معنایی ویدئو در کاربردهای بسیاری از قبیل خودروهای بدون سرنشین، سیستم های ناوبری، سیستم های واقعیت مجازی و ... استفاده می شود. در سال های اخیر پیشرفت چشم گیری در تقطیع معنایی تصاویر مشاهده شده است. اما از آن جا که فریم های پشت سر هم یک ویدئو باید با سرعت بالا و تاخیر کم و به صورت بلادرنگ پردازش شوند استفاده از تقطیع معنایی تصویر روی تک تک فریم های ویدئو با مشکل مواجه می شود؛ بنابراین تقطیع معنایی فریم های یک ویدئو به صورت بلادرنگ و با دقت مناسب موضوعی چالش برانگیز است. به منظور مقابله با چالش ذکر شده، در این مقاله یک چارچوب تقطیع معنایی ویدئو معرفی شده است که با در نظر گرفتن تغییرات فریم های پشت سر هم (با استفاده از جریان نوری) و بهره گیری از شبکه عمیق بازگشتی GRU، از اطلاعات تقطیع معنایی فریم های قبلی به منظور افزایش سرعت و دقت استفاده شده است. یک ورودی شبکه GRU تخمینی از تقطیع معنایی فریم فعلی (حاصل از یک شبکه عمیق کانولوشنال از پیش آموزش دیده)، و ورودی دیگر آن لغزش یافته تقطیع معنایی فریم قبلی در راستای جریان نوری دو فریم قبلی و فعلی می باشد. روش پیشنهادی دارای دقت و سرعت قابل رقابت با شناخته شده ترین و بهترین روش ها می باشد. دقت تقطیع معنایی بر اساس معیار ارزیابی mIoU روی مجموعه داده های Cityscapes و Camvid به ترتیب برابر با ۸۳.۱ و ۷۹.۸ می باشد. این در حالیست که در روش پیشنهادی سرعت تقطیع معنایی با استفاده از یک GPU تسلا مدل P۴ روی مجموعه داده های Cityscapes و Camvid به ترتیب به ۳۴ و ۳۶.۳ فریم بر ثانیه رسیده است.

کلیدواژه ها:

تقطیع معنایی ویدئو ، شبکه عصبی عمیق ، جریان نوری