مروری بر تکنیک ها و الگوریتم های پاسخگویی به پرسش های بصری

پاسخ به سوالات تصویری (VQA) یک کار چندوجهی است که شامل بینایی رایانه (CV) و پردازش زبان طبیعی (NLP) است . با توجه به یک تصویر و یک سوال آزاد و باز به زبان طبیعی ، هدف سیستم VQA ارائه پاسخ دقیق به زبان طبیعی در مورد تصویر داده شده است . این کار بسیار چالش برانگیز است زیرا به درک همزمان اطلاعات بصری و متنی نیاز دارد. اخرا،ی مکانیسم توجه به طور گسترده ای برای ایجاد پاسخ صحیح با گرفتن وابستگی های سراسری استفاده می شود. علاوه بر این ، اکثر رویکردهای اخیر VQA از ضرب نقطه ای برای محاسبه توجه درون وجهی و بین وجهی بین ویژگی های بصری و زبانی استفاده می کنند. این مقاله یک نمای کلی انتزاعی از تحقیقات پیشرفته در مورد VQA، از جمله VQA مبتنی بر نمودار دانش و ترکیب چند وجهی با شبکه های عصبی بازگشتی ارائه می کند. این مقاله همچنین چالش ها و جهت گیری آینده در این زمینه را برجسته می کند.

کلیدواژه ها:

پاسخگویی به پرسش های بصری ، بینائی ماشین ، یادگیری عمیق ، پردازش متن ، پردازش تصویر.