افزایش دقت، سرعت و توضیح پذیری در تشخیص و تحلیل یافته های بالینی آندوسکوپی دستگاه گوارش انسان با بهره گیری از عامل های هوش مصنوعی و تکنیک های بینایی ماشین

بیماری های دستگاه گوارش از تهدیدهای مهم سلامت انسان هستند و تشخیص دقیق و زودهنگام آن ها نقش مهمی در درمان دارد. روش های یادگیری عمیق در تحلیل تصاویر آندوسکوپی نتایج امیدوارکننده ای داشته اند؛ بااین حال، کمبود داده های برچسب خورده، عدم توازن کلاس ها و هزینه بالای برچسب گذاری همچنان از چالش های این حوزه اند. در این پژوهش، چارچوبی یکپارچه برای تحلیل تصاویر و ویدئوهای آندوسکوپی ارائه شد که پس از بازنگری و گروه بندی برخی کلاس ها و افزایش تنوع داده های آموزشی، از یادگیری خودنظارتی MoCo v۳ برای یادگیری بازنمایی از داده های بدون برچسب استفاده شد. سپس، مدل های ResNet۱۵۲ و Swin-L به صورت نظارتی تنظیم دقیق و بازنمایی های آن ها با استفاده از یک پرسپترون چندلایه (MLP) ترکیب شدند. همچنین، شبه برچسب زنی برای بهره گیری از داده های بدون برچسب و یک عامل یادگیری تقویتی برای تصمیم گیری توالی محور در ویدئوهای آندوسکوپی به کار گرفته شد. برای فراهم کردن امکان تفسیر تصمیم های مدل نیز از روش های توضیح پذیری مبتنی بر نقشه های فعال سازی استفاده شد. مجموعه داده HyperKvasir از ۲۳ کلاس اولیه پس از بازنگری و گروه بندی به ۱۳ کلاس نهایی کاهش یافت و شامل ۱۰٬۶۶۲ تصویر برچسب خورده و ۹۹٬۴۱۷ تصویر بدون برچسب بود. داده های برچسب خورده با نسبت ۷۰، ۱۰ و ۲۰ درصد به ترتیب به آموزش، اعتبارسنجی و آزمون تقسیم شدند. مدل ترکیبی در آزمون به صحت کلی ۹۵٫۶۰ درصد و امتیاز F۱ ماکرو ۷۵٫۴۰ درصد دست یافت. عامل یادگیری تقویتی نیز در ۷۷ ویدئوی آزمون، به صحت کلی ۸۱٫۸۲ درصد و امتیاز F۱ ماکرو ۴۰٫۲۱ درصد دست یافت و پیش از تصمیم نهایی، به طور میانگین حدود ۸ فریم از هر ویدئو را مشاهده کرد.

کلیدواژه ها:

بیماری های دستگاه گوارش ، تصاویر آندوسکوپی ، یادگیری عمیق ، یادگیری خودنظارتی ، یادگیری تقویتی