تولید خودکار گزارش برای تصاویر قفسه سینه با استفاده از ترکیب مدل کانولوشنی بازگشتی و معماری توجه محور

در مطالعات علوم پزشکی، از تصاویر پزشکی برای تشخیص و طراحی پروتکل درمان بیماری ها بصورت گسترده استفاده می شود. برای پزشکان کم تجربه، نوشتن گزارش پزشکی به شکل متنی ممکن است مستعد خطا باشد، زیرا این کار نیازمند درک عمیق نسبت به بیماری و تجزیه و تحلیل آن است. همچنین برای متخصصان، این کار به دلیل تعدد بیمارانی که در یک روز مراجعه می کنند زمان بر و پر زحمت است. از دیدگاه دیگر، وجود گزارش های الگو برای پزشکان می تواند به میزان قابل توجهی دقت آن ها را در تشخیص بیماری افزایش دهد و خطای ناشی از عدم توجه به جزئیات را کاهش دهد. این پژوهش یک مدل مبتنی بر یادگیری عمیق را برای تولید خودکار گزارش های تصاویر رادیولوژی ارائه نموده است. این مدل بر پایه ترکیب یک ساختار کانولوشنی بازگشتی و معماری توجه محور است که با نام Res-LSTM-Attn معرفی گردیده است. در این مدل ابتدا از تصاویر پزشکی با استفاده از شبکه عصبی کانولوشنی رزنت ویژگی ها استخراج خواهند شد و بر اساس یک مدل چند برچسبی کلمات یک گزارش پیش بینی خواهند شد. در ادامه با استفاده از شبکه عصبی بازگشتی LSTM و لایه های توجه چندسر گزارش نهایی تولید می شود. عملکرد مدل های پیشنهادی بر اساس معیارهای BLEU ۱-۴ و ROUGE-L و CIDEr-D مورد ارزیابی قرار گرفت. نتایج نشان داد مدل پیشنهادی از نظر معیار CIDEr-D و ROUGE-L در تولید گزارشات طولانی بر مطالعات پیشین غلبه کرده است و این مقادیر بترتیب به میزان ۷/۲ و ۳/۲ درصد بهبود یافته اند.

کلیدواژه ها:

تصاویر پزشکی ، شبکه عصبی عمیق بازگشتی ، تولید خودکار گزارش ، رمزگشا ، رمزگذار ، مکانیسم توجه