چارچوبی آگاه از سطح خدمت برای سرویس دهی بدون سرور مدل های زبانی بزرگ بالینی

در کاربردهای بالینی، به ویژه سامانه های تریاژ هوشمند و ابزارهای پشتیبان تصمیم در اورژانس، استقرار و سرویس دهی مدل های زبانی بزرگ با محدودیت ها و چالش های ویژه ای همراه است. تغییرات ناگهانی حجم درخواست ها، تاخیر ناشی از راه اندازی اولیه نمونه های مدل، محدودیت حافظه پردازنده های گرافیکی، افزایش مصرف حافظه ناشی از KV Cache و حساسیت زمانی درخواست های درمانی، موجب می شود مدیریت منابع در این نوع سامانه ها پیچیده تر از سرویس های وب متداول باشد. در این پژوهش، رویکردی مبتنی بر سطح خدمت برای بهینه سازی سرویس دهی بدون سرور مدل های زبانی بزرگ در محیط های بالینی پیشنهاد می شود. روش ارائه شده با بهره گیری از یک پایگاه مطالعاتی شامل ۱۰۴ منبع پژوهشی و تحلیل شواهد مربوط به سامانه های نوین سرویس دهی و مقیاس پذیری مدل های زبانی بزرگ، شاخصی با عنوان فشار بالینی سامانه را معرفی می کند. این شاخص، مولفه هایی مانند طول صف درخواست ها، زمان انتظار تا تولید نخستین توکن، زمان تولید توکن های بعدی، میزان استفاده از GPU، فشار حافظه KV Cache و سطح فوریت بالینی را در قالب یک معیار ترکیبی برای تصمیم گیری مقیاس پذیری ادغام می کند. برای ارزیابی روش پیشنهادی، مطالعه موردی «همیار تریاژ هوشمند اورژانس» در سه سناریوی عادی، نیمه بحرانی و بحرانی شبیه سازی شد و عملکرد آن با دو سیاست مبنا شامل HPA و مقیاس پذیری مبتنی بر آستانه صف مقایسه گردید. نتایج حاصل از ۱۰ اجرای مستقل نشان داد که رویکرد پیشنهادی توانسته است نرخ نقض سطح خدمت را از ۷/۷۸ درصد در HPA و ۱۰ درصد در سیاست مبتنی بر صف، به ۱/۱۱ درصد کاهش دهد. همچنین مقدار P۹۵ زمان تولید نخستین توکن در این روش به ۱/۵۶ ثانیه رسید. بر اساس این نتایج، ترکیب شاخص های فنی زیرساخت با فوریت بالینی می تواند راهکاری موثر برای مدیریت منابع مدل های زبانی بزرگ در سامانه های حساس حوزه سلامت فراهم سازد.

کلیدواژه ها:

مدل زبانی بزرگ ، مقیاس پذیری خودکار ، سطح خدمت ، تریاژ اورژانس ، معماری بدون سرور