مقیاس گر بالینی آگاه از سطح خدمت برای سرویس دهی بدون سرور مدل های زبانی بزرگ

سرویس دهی مدل های زبانی بزرگ در سامانه های بالینی، به ویژه ابزارهای تریاژ و پشتیبان تصمیم اورژانس، با چالش هایی مانند نوسان شدید بار کاری، محدودیت منابع GPU، تاخیر تولید توکن و الزام رعایت سطح خدمت روبه رو است. در این مقاله، یک مقیاس گر بالینی آگاه از سطح خدمت برای سرویس دهی بدون سرور مدل های زبانی بزرگ ارائه می شود. روش پیشنهادی با تعریف شاخص فشار بالینی سامانه، سیگنال های طول صف، زمان تولید نخستین توکن، تاخیر بین توکن ها، بهره برداری GPU، فشار حافظه KV Cache و درجه فوریت درخواست را ترکیب می کند و بر اساس آن، درباره افزایش یا کاهش نمونه های فعال مدل تصمیم می گیرد. برای ارزیابی، مطالعه موردی «همیار تریاژ هوشمند اورژانس» در سه وضعیت عادی، نیمه بحرانی و بحرانی شبیه سازی شد و روش پیشنهادی با HPA مبتنی بر منبع و سیاست آستانه ای صف مقایسه گردید. نتایج ۱۰ اجرای مستقل نشان داد که روش پیشنهادی نرخ نقض سطح خدمت را از ۷/۷۸ درصد در HPA و ۱۰ درصد در سیاست صف به ۱/۱۱ درصد کاهش داده و P۹۵ زمان تولید نخستین توکن را به ۱/۵۶ ثانیه می رساند. یافته ها نشان می دهد ترکیب معیارهای زیرساختی با فوریت بالینی می تواند مبنایی موثر برای مدیریت منابع مدل های زبانی بزرگ در کاربردهای سلامت باشد.

کلیدواژه ها:

مدل زبانی بزرگ ، مقیاس پذیری خودکار ، سطح خدمت ، تریاژ اورژانس ، معماری بدون سرور ، GPU