بهبود سرویس دهی بدون سرور مدل های زبانی بزرگ در سلامت هوشمند بالینی با رویکرد آگاه از سطح خدمت

سرویس دهی مدل های زبانی بزرگ (LLM) در سامانه های بالینی، به ویژه در ابزارهای تریاژ و سیستم های پشتیبان تصمیم گیری اورژانس، به دلیل نوسان شدید بار کاری، تاخیر ناشی از شروع سرد (cold start)، محدودیت حافظه GPU، رشد پویای حافظه KV Cache و حساسیت زمانی ذاتی درخواست ها، با چالش هایی مواجه است که فراتر از راهکارهای سنتی مقیاس پذیری وب قرار می گیرند. در این مقاله، یک رویکرد آگاه از سطح خدمت (SLA-aware) برای بهبود سرویس دهی بدون سرور مدل های زبانی بزرگ در کاربردهای بالینی در بستر سلامت هوشمند ارائه می شود. روش پیشنهادی با تکیه بر پایگاه داده ای شامل ۱۰۴ رکورد پژوهشی و استخراج شواهد از سامانه های نوین سرویس دهی و مقیاس پذیری LLM، مفهومی تحت عنوان «شاخص فشار بالینی سامانه» را تعریف می کند. این شاخص، ترکیبی از طول صف، زمان تولید نخستین توکن، زمان تولید توکن های بعدی، بهره وری GPU، فشار حافظه KV Cache و درجه فوریت بالینی بوده و به عنوان معیاری ترکیبی برای تصمیم گیری مقیاس پذیری در معماری سلامت هوشمند عمل می کند. مطالعه موردی «همیار تریاژ هوشمند اورژانس» در سه وضعیت عادی، نیمه بحرانی و بحرانی شبیه سازی شده و روش پیشنهادی با دو خط مبنای HPA و سیاست آستانه ای مبتنی بر صف مقایسه گردید. نتایج ۱۰ اجرای مستقل نشان داد که روش پیشنهادی، نرخ نقض سطح خدمت را از ۷/۷۸ درصد در HPA و ۱۰ درصد در سیاست آستانه ای صف به ۱/۱۱ درصد کاهش می دهد و صدک نود و پنجم زمان تولید نخستین توکن (P۹۵ First Token Latency) را به ۱/۵۶ ثانیه می رساند. این یافته ها تاکید می کنند که ترکیب معیارهای زیرساختی با فوریت بالینی، می تواند مبنایی قابل اتکا و دفاع پذیر برای مدیریت پویای منابع مدل های زبانی بزرگ در سامانه های حساس حوزه سلامت هوشمند و کاربردهای اورژانس بالینی فراهم آورد.

کلیدواژه ها:

مدل زبانی بزرگ ، مقیاس پذیری خودکار ، سطح خدمت ، تریاژ اورژانس ، معماری بدون سرور