تولید شرح تصویر با استفاده از یادگیری عمیق

سیستم های تولید شرح تصویر از ترکیب دو حوزه پردازش تصویر و پردازش متن تشکیل شده اند. روند کار این گونه سیستم ها متشکل از شناسایی اشیا داخل تصویر و روابط بین آنها و سپس بیان اطلاعات شناسایی شده در تصویر به صورت متن می باشد. این مقاله مبتنی بر روش های یادگیری عمیق می باشد. از روش تشخیص اشیا MASK RCNN و شبکه های کانولوشن برای تصاویر و از شبکه بازگشتی LSTM بر مبنای توه برای تولید کلمات شرح تصویر در هر مرحله استفاده شده است. مجموعه داده مورد استفاده در این پژوهش flickr۳۰k است که در زمنیه تولید شرح تصویر از آن استفاده می شود که شامل ۳۱۰۱۴ تصویر است و هر تصویر دارای ۵ شرح مرتبط با تصویر می باشد. از معیار BLUE برای ارزیابی مدل پیشنهادی استفاده شده است. در نهایت با پیاده سازی روش پیشنهادی معیار BLUE برابر با ۲۱.۹ شد.

کلیدواژه ها:

شرح تصویر برداری ، یادگیری عمیق ، شبکه کانولوشن ، شبکه بازگشتی LSTM ، الگوریتم های تشخیص اشیا