ارایه مدلی مبتنی بر یادگیری عمیق برای پرسش و پاسخ بصری پزشکی

یکی از شاخه های هوش مصنوعی چندبعدی، سیستم های پرسش و پاسخ بصری ((Visual Question Answering (VQA) است. در واقع روش VQA یک پژوهش میان رشته ای است که نیاز به دانش کافی در بینایی رایانه و پردازش زبان طبیعی دارد و به عنوان یکی از معیارهای اصلی اندازه گیری برای هوش ماشین در نظر گرفته می شود که در سالهای اخیر علاوه بر حوزهی عمومی در حوزه های پزشکی نیز به شدت مورد توجه قرار گرفته است. به طوری که این روش هم برای پزشک و هم برای بیمار مفید واقع می شود؛ زیرا می تواند به پزشکان در تصمیم گیری بهتر کمک کند و بیماران را در رسیدن به پاسخ پرسش های خود در مورد تصاویر پزشکی که بیانگر وضع سلامتی آنها است، یاری رساند. در این پژوهش با انتخاب مجموعه داده ای که شامل تصاویر رادیولوژی به همراه پرسش و پاسخ مربوط به هر تصویر می باشد، و با استفاده از الگوریتمهای یادگیری عمیقGRU ,CNN و تعبیه ساز کلمه و ساز و کار توجه)Attention Mechanism( مدلی با هدف افزایش دقت در پاسخگویی به پرسش های مربوط به تصاویر رادیولوژی ارائه شده است. در نتایج بدست آمده از روش پیشنهادی شاهد بهبود کارایی نسبت به روش های مشابه که بر روی این مجموعه داده ارائه شده است، هستیم. همچنین مدل ارائه شده نسبت به مدلی که از الگوریتم یادگیری ماشین معمول بهره می برد و یا از مدلی که از ساز و کار توجه به شکل متفاوت استفاده کرده است، عملکردی بهتر را دارا میباشد

کلیدواژه ها:

سیستم پرسش و پاسخ بصری ، ساز و کار توجه ، بینایی رایانه ، پردازش زبان طبیعی ، تعبیه ساز کلمه ، یادگیری عمیق ، رادیولوژی.