مروری بر مشکل تبدیل ویدئو به متن

تحقیقات در حوزه چشم انداز و زبان موضوعات چالش برانگیزی را در بر میگیرد که به دنبال ارتباط بین اطلاعات بصری و متنی است. هنگامی که اطلاعات بصری مربوط به ویدیوها است، ما را به تحقیق ویدیو-متن میبرد که شامل چندین کار چالش برانگیز مانند پاسخ به سوالات ویدیویی، خلاصه سازی ویدیو با زبان طبیعی و تبدیل ویدیو به متن و متن به ویدیو است این مقاله مشکل ویدیو به متن را بررسی میکند که در آن هدف مرتبط کردن یک ویدیوی ورودی با توضیحات متنی آن است. این ارتباط عمدتا میتواند با بازیابی مرتبط ترین توصیفها از یک مجموعه یا ایجاد یک توصیف جدید با ارائه یک ویدیوی زمینه ایجاد شود این دو روش وظایف ضروری را برای جوامع پردازش زبان کامپیوتری و پردازش زبان طبیعی نشان میدهند که بازیابی متن از کار ویدیویی و وظیفه شرح و توضیح ویدیو نامیده میشود این دو کار بسیار پیچیده تر از پیش بینی یا بازیابی یک جمله از یک تصویر .هستند اطلاعات مکانی زمانی موجود در ویدیوها تنوع و پیچیدگی را در رابطه با محتوای بصری و ساختار توصیفات زبان مرتبط معرفی میکند این دسته بندی مروری، تکنیک های پیشرفته را برای مشکل تبدیل ویدیو به متن شرح و توضیح می دهد. این روشهای اصلی تبدیل ویدیو به متن و روشهای ارزیابی عملکرد آنها را پوشش میدهد ما بیست و شش مجموعه داده معیار را تجزیه و تحلیل میکنیم و نقاط ضعف و قوت آنها را برای الزامات مشکل نشان میدهیم. ما همچنین پیشرفتی را که محققان در هر مجموعه داده انجام دادهاند نشان داده و چالشهای موجود در این زمینه را پوشش می دهیم و مسیرهای تحقیقاتی آینده را مورد بحث قرار می دهیم.

کلیدواژه ها:

Visual-semantic embedding ، Video-to-text ، Video captioning ، Deep learning ، Joint multi-modal