استنتاج بی درنگ و بهینه سازی آگاه از سخت افزار مدل های زبانی بزرگ برای هوش مصنوعی لبه: تحلیل تطبیقی بازآرایی روش ها و راهنمای جامع استقرار

سال انتشار: 1405
نوع سند: مقاله کنفرانسی
زبان: فارسی
مشاهده: 25

فایل این مقاله در 14 صفحه با فرمت PDF قابل دریافت می باشد

استخراج به نرم افزارهای پژوهشی:

لینک ثابت به این مقاله:

شناسه ملی سند علمی:

ITNAF01_0909

تاریخ نمایه سازی: 14 آبان 1405

چکیده مقاله:

استقرار مدل های زبانی بزرگ (LLMs) در لبه شبکه و روی دستگاه هایی با منابع محاسباتی و انرژی محدود، به دلیل حجم بالای حافظه مورد نیاز، شدت محاسباتی زیاد و پدیده دیواره پهنای باند حافظه Memory Wall با چالش های بنیادین همراه است. این مقاله یک مرور دامنه ای ساختاریافته (Structured Scoping Review) منطبق بر رهنمودهای استاندارد PRISMA-SCR پیرامون استنتاج بیدرنگ و بهینه سازی آگاه از سخت افزار مدل های زبانی در بستر هوش مصنوعی لبه ارائه می دهد. هدف اصلی این پژوهش سنتز انتقادی ادبیات متاخر سال های ۲۰۲۴ تا ۲۰۲۶ و ارائه یک راهنمای عملیاتی منسجم برای پیوند میان سه لایه کلیدی است. الگوریتم های فشرده سازی، مدل، بهینه سازی های سطح سیستم و کامپایلر و شتاب دهنده های سیلیکونی لبه در سطح مدل، روش های کوانتیزاسیون فوق کم، بیت هرس ساختار یافته، تقطیر، استدلال، فاکتورگیری کم رتبه و خطوط لوله هیبریدی بازآرایی و تحلیل شده اند. در سطح سیستم، تکنیک های هم جوشی عملگرها، مدیریت مجازی بافر کلید-مقدار (Paged Attention)، موتورهای استنتاج محلی و استنتاج همیارانه لبه-ابری بررسی شده اند. همچنین نتایج تجربی چندبعدی در قالب چارچوب AL-E-M دقت، تاخیر، انرژی و حافظه که توسط چن و همکاران (۲۰۲۶) معرفی شده، مورد ارزیابی نقادانه قرار گرفته و ناهماهنگی های اندازه گیری تبیین شده اند. در نهایت شش خلا پژوهشی اولویت دار به همراه ماتریس تصمیم گیری مهندسی تدوین گشته است.

کلیدواژه ها:

مدل های زبانی بزرگ (LLM) ، هوش مصنوعی لبه (Edge AI) ، استنتاج بی درنگ ، مرور دامنه ای ساختاریافته ، بهینه سازی آگاه از سخت افزار ، بافر کلید مقدار Cache ، چارچوب AL-E-MS ، هوش لبه سیار (MEI)

نویسندگان

هومن طحانی

دانشجوی دکترای مهندسی کامپیوتر دانشگاه آزاد اسلامی واحد قزوین

مرسده سنجابی

استادیار مهندسی کامپیوتر دانشگاه آزاد اسلامی واحد قزوین