توسعه ی مدل ترکیبی برای تفسیر عکس و گزارشهای پزشکی با استفاده از BioMistral و ConceptCLIP

در این مقاله روشی نوین برای تفسیر خودکار تصاویر پزشکی با استفاده از مدل چندوجهی ConceptCLIP و مدل زبانی BioMistral ارائه شده است. برای افزایش دقت و توضیح پذیری سامانه، توابع زیان جدیدی مانند Confidence، DCL LOSS، Triplet Loss و Group XAI طراحی شده اند. این سامانه علاوه بر تحلیل تصاویر قفسه سینه، پیشنهادهای تغذیه و سبک زندگی بر مبنای گزارشهای پزشکی ارائه می دهد. نتایج نشان می دهد سیستم در مقایسه با مدل های پایه مانند CLIP، عملکرد بهتری در تفسیر دقیق و مشابه یابی معنایی دارد. همچنین با استفاده از ماژول های توضیح پذیری بصری (Visual XAI)، نواحی آسیب دیده به خوبی شناسایی می شوند.

کلیدواژه ها:

تفسیر ، پزشکی ، مدل چندوجهی ، توضیح پذیری ، CONCEPT CLIP ، BIOMISTRAL ، XAI