دستیار پزشکی LLM فارسی روی لبه: رویکرد فشرده سازی ترکیبی پیشرفته برای استقرار کارآمد و پایدار

مدل های زبانی بزرگ مبتنی بر ترانسفورمر در سال های اخیر نشان داده اند که می توانند در کنار تیم درمان، متون بالینی را تحلیل کنند، نشانه ها را کنار هم بگذارند و در تصمیم سازی کمک رسان باشند. با این حال، ابعاد بسیار بزرگ این مدل ها، آن ها را به سخت افزارهای گران قیمت و زیرساخت های ابری وابسته می کند و این موضوع، در کاربردهای پزشکی، هم از نظر تاخیر در پاسخ و هم از نظر حریم خصوصی داده های بیمار، چالش برانگیز است. در این مقاله، یک رویکرد فنی برای ساخت یک دستیار پزشکی فارسی معرفی می شود که بتواند به جای تکیه بر سرور، روی خود دستگاه های همراه اجرا شود و همچنان دقت قابل قبولی داشته باشد. هسته این رویکرد، ترکیب دو ایده تقطیر دانش و کوانتیزاسیون آگاه از آموزش است؛ ابتدا یک مدل زبان کوچک با استفاده از روش های تنظیم دقیق پارامترهای موثر روی داده های پزشکی فارسی تخصصی می شود، سپس دانش یک مدل بزرگ تر به آن منتقل و وزن ها برای کار در دقت عددی پایین (مثل Int۴) ) آماده می گردند. تحلیل های فنی نشان می دهد می توان حجم مدل را از مرتبه چند گیگابایت به چند صد مگابایت کاهش داد و در عین حال، سرعت پاسخ گویی را به سطح مناسب برای استفاده روزمره روی دستگاه های لبه رساند، بدون آن که افت معناداری در شاخص های دقت تخصصی رخ دهد. این ویژگی ها، امکان ارائه مشاوره پزشکی سریع، نسبتا پایدار و مستقل از اینترنت را برای کاربران فارسی زبان فراهم می کند و می تواند به عنوان گامی عملی در جهت توسعه سامانه های سلامت دیجیتال بومی به کار گرفته شود.

کلیدواژه ها:

دستیار پزشکی ، مدل زبان فارسی ، رایانش لبه ، فشرده سازی ترکیبی ، تقطیر دانش ، کوانتیزاسیون آگاه از آموزش(QAT)