چارچوب چند مرحله ای مبتنی بر ترانسفورمرهای بالینی محور برای بخش بندی مقاوم تومور مغزی تحت محدودیت داده های برچسب دار

بخش بندی دقیق تومور مغزی در تصاویر چند مدالیته MRI یک چالش اساسی در سیستم های تحلیل تصویر پزشکی است، به ویژه در کشورهایی که داده های برچسب دار محدود و هزینه برچسب گذاری بالاست. در این پژوهش یک چارچوب چند مرحله ای مبتنی بر ترانسفورمر ارائه می شود که با ترکیب یادگیری خودنظارتی دانش بالینی و همترازی، چند مدالیته عملکرد مدل را در شرایط کمبود داده تقویت می کند. در مرحله نخست یک Vision Transformer به وسیله ی بازسازی فضایی خودنظارتی آموزش دیده تا ساختارهای پنهان تصویر را بدون نیاز به برچسب بیاموزد سپس یک دکودر بالینی محور با استفاده از نقشه های پیشین آناتومیکی و توجه چندسطحی ویژگی های استخراج شده را به نواحی توموری WT و ET نگاشت می کند. در مرحله نهایی بلوک همترازی چند مدالیتهای روابط طیفی بین T۲، T، TGd و FLAIR را مدل سازی کرده و موجب بهبود تفکیک ناحیه های با شدت مشابه می شود. ارزیابی ها بر روی مجموعه داده ۲۰۲۴ BraTS نشان می دهد که چارچوب پیشنهادی دقت بالایی در مناطق TC و ET ارائه داده و پایداری بالاتری نسبت به روش های استاندارد تحت شرایط داده کم دارد. ساختار تفسیرپذیر نقشه های توجه و زمان استنتاج مناسب استفاده بالینی از این مدل را در بیمارستان های ایران امکان پذیر می سازد.

کلیدواژه ها:

بخش بندی ، پزشکی ، ترانسفورمر ، یادگیری خودنظارتی ، MRI ، تومور مغزی ، دانش بالینی