رویکردی نوین در قطعه بندی تصاویر پزشکی با استفاده از یکپارچه سازی شبکه های عصبی گراف و ترکیبی از CNN-ترانسفورمر

در این مقاله، روشی نوین برای قطعه بندی دقیق تصاویر پزشکی با استفاده از برچسب های ساده (Scribble) ارائه شده است. مدل های کاملا نظارت شده نیازمند داده های پیکسلی هستند که تهیه آنها پرهزینه است. در مقابل یادگیری از برچسب های ساده راهکاری عملی است اما غالبا با مشکل فعال سازی جزئی و از دست دادن ساختار بافت روبرو می شود. برای رفع این چالش، چارچوب پیشنهادی ما با نام گراف اسکریب (ScribGNN) یک شبکه عصبی گراف (GNN) را مستقیما در معماری شبکه های عصبی پیچشی-ترانسفورمر (CNN-Transformer) ادغام می کند. با ساخت یک گراف نزدیک ترین همسایه (KNN) در فضای ویژگی های عمیق، این مدل اتصالات توپولوژیک طبیعی که در ترانسفورمرهای استاندارد از بین می روند را بازیابی می کند، همچنین از یک نقشه فعال سازی کلاس مبتنی بر توجه گوسی (Gaussian ACAM) به عنوان یک فیلتر ساختاری استفاده شده است. ارزیابی ها بر روی مجموعه داده های ACDC و MSCMR.seg نشان می دهد این روش با دستیابی به میانگین ضریب دایس (DSC) به ترتیب ۸۹.۹۳ و ۸۴.۹۷٪، نتایجی بسیار رقابتی با روش های کاملا نظارت شده ارائه می دهد در حالی که پیچیدگی محاسباتی بسیار پایینی دارد.

کلیدواژه ها:

شبکه های عصبی ، گراف ، ترانسفورمرها ، قطعه بندی تصاویر پزشکی ، یادگیری مبتنی بر برچسب ساده ، مکانیزم توجه