مینا رضایی زارع - گروه کامپیوتر، دانشکده برق و کامپیوتر، دانشگاه خاتم الانبیاء بهبهان، بهبهان، ایران
رضا فرخ پور - گروه کامپیوتر، دانشکده برق و کامپیوتر، دانشگاه خاتم الانبیاء بهبهان، بهبهان، ایران

فهم اشیاء پیچیده در عکس توسط کامپیوتر، در مقایسه با انسان که از طریق زبان طبیعی این فهم را انجام میدهدیک موضوع جذاب برای تحقیق در زمینه بینایی ماشین و منطق محاسباتی است. یک کودک سه ساله میتواند آنچه رامی بیند تشریح کند و به سوالهای راجع به اجزاء بصری پاسخ دهد، اما کامپیوترها برای انجام این عمل ساده به طورشگفت آوری دچار مشکل می شوند. یادگیری و اعمال دانش بینایی و معنایی در یک برنامه کامپیوتری، به معنای قدم بزرگیدر زمینه هوش مصنوعی است. ساخت سیستم پرسش و پاسخ بر مبنای عکس مفهوم عمیقی در شاخه هوش مصنوعیدارد. تعامل انسان و کامپیوتر با استفاده از زبان طبیعی، نیاز به داشتن دانش قبلی از نحوه عملکرد دستگاه های الکترونیکیرا از بین می برد و باعث می شود تکنولوژی بیشتر در دسترس قرار بگیرد. علاوه بر این، فهم تصویر از طریق زبان طبیعیمیتواند به افراد با مشکلات بینایی کمک کند. در این مقاله یک مدل یادگیری ماشینی طراحی شده است که به طورمشترک بینایی و گفتار را از طریق پرسش پاسخ (QA) یاد می گیرد. به کامپیوتر مجموعه ای از عکس ها و سوالاتی مربوط به عکس ها داده می شود، و سپس جواب های صحیح از طریق یک مدل آموزشی نظارت شده به عنوان خروجی دادهمی شود. بدین منظور کامپیوتر نیازمند آن است که دانش به دست آمده از عکس و جملات را به ترتیب با هم ادغام کند تابه کارایی مناسبی برسد. در این مدل از یک شبکهی عصبی کانولوشن برای به دست آوردن ویژگی های بصری و از یکشبکه ی عصبی بازگشتی LSTM برای به دست آوردن تعبیر سطح جمله استفاده شده است. نتایج نشان میدهد مدل ارایه شده دقت پاسخ را 50% نسبت به روشهای پیشین بهبود داده است. همچنین در این مقاله الگوریتم تولید سوالمبتنی بر تصویر پیشنهاد شده است که با ایجاد مجموعه عظیم پرسش و پاسخ در کاربردهای یادگیری عمیق قابل استفاده است.

پرسش پاسخ (QA)، یادگیری ماشین، یادگیری عمیق، شبکه عصبی بازگشتی، شبکه عصببی کانولوشبن LSTM