یادگیری فدرال با تعدیل عدم تعادل خود-گام برای پیش بینی عوارض نادر دارویی: مطالعه ای مقایسه ای بر روی مدل های زبانی بزرگ

یکی از علل اصلی مرگ ومیر در بیمارستان ها عوارض جانبی دارویی می باشد؛ اما متاسفانه پیش بینی آن ها به ویژه برای موارد نادر، بسیار سخت است. یادداشت های پزشکی حاوی اطلاعات ارزشمندی در مورد عوارض دارویی هستند، اما ساختارمند نبودن و محرمانه بودن آن ها مانع از استفاده در مدل های متمرکز یادگیری ماشین می شود. در این مطالعه، سه مدل زبانی بزرگ (BERT، Llama و Qwen) در چارچوب یادگیری فدرال جهت پیش بینی عوارض نادر دارویی با هم مقایسه شدند. چالش اصلی، عدم توازن شدید داده ای بود که با تکنیک های یادگیری خود-گام و LoRA مدیریت شد. نتایج به دست آمده نشان داد مدل Qwen۲.۵-۱.۵B با بهره گیری از روش یادگیری خود-گام، عملکرد بهتری از خود نشان داد و به معیار F۱ ماکروی ۸۸٫۵۹٪ رسید؛ از طرفی مدل BERT هزینه محاسباتی کمتر اما دقت کمتری در نمونه های اقلیت داشت، و این در حالی است که Llama با وجود تعمیم پذیری بالا، در محیط غیرمتمرکز به سختی همگرا می شد. از نتایج فوق می توان دریافت که انتخاب مناسب معماری LLM تاثیر مستقیم بر عملکرد یادگیری فدرال در داده های نامتوازن پزشکی دارد و انتخاب یک معماری سبک تر با تنظیم دقیق پارامترهای آن، گزینه بهتری برای محیط های بالینی با منابع محدود می باشد.

کلیدواژه ها:

یادگیری فدرال ، مدل های زبانی بزرگ ، عوارض جانبی دارویی ، عدم تعادل داده ، یادگیری خود-گام