استنتاج بی درنگ و بهینه سازی آگاه از سخت افزار مدل های زبانی بزرگ برای هوش مصنوعی لبه: تحلیل تطبیقی بازآرایی روش ها و راهنمای جامع استقرار
سال انتشار: 1405
نوع سند: مقاله کنفرانسی
زبان: فارسی
مشاهده: 25
فایل این مقاله در 14 صفحه با فرمت PDF قابل دریافت می باشد
- صدور گواهی نمایه سازی
- من نویسنده این مقاله هستم
استخراج به نرم افزارهای پژوهشی:
شناسه ملی سند علمی:
ITNAF01_0909
تاریخ نمایه سازی: 14 آبان 1405
چکیده مقاله:
استقرار مدل های زبانی بزرگ (LLMs) در لبه شبکه و روی دستگاه هایی با منابع محاسباتی و انرژی محدود، به دلیل حجم بالای حافظه مورد نیاز، شدت محاسباتی زیاد و پدیده دیواره پهنای باند حافظه Memory Wall با چالش های بنیادین همراه است. این مقاله یک مرور دامنه ای ساختاریافته (Structured Scoping Review) منطبق بر رهنمودهای استاندارد PRISMA-SCR پیرامون استنتاج بیدرنگ و بهینه سازی آگاه از سخت افزار مدل های زبانی در بستر هوش مصنوعی لبه ارائه می دهد. هدف اصلی این پژوهش سنتز انتقادی ادبیات متاخر سال های ۲۰۲۴ تا ۲۰۲۶ و ارائه یک راهنمای عملیاتی منسجم برای پیوند میان سه لایه کلیدی است. الگوریتم های فشرده سازی، مدل، بهینه سازی های سطح سیستم و کامپایلر و شتاب دهنده های سیلیکونی لبه در سطح مدل، روش های کوانتیزاسیون فوق کم، بیت هرس ساختار یافته، تقطیر، استدلال، فاکتورگیری کم رتبه و خطوط لوله هیبریدی بازآرایی و تحلیل شده اند. در سطح سیستم، تکنیک های هم جوشی عملگرها، مدیریت مجازی بافر کلید-مقدار (Paged Attention)، موتورهای استنتاج محلی و استنتاج همیارانه لبه-ابری بررسی شده اند. همچنین نتایج تجربی چندبعدی در قالب چارچوب AL-E-M دقت، تاخیر، انرژی و حافظه که توسط چن و همکاران (۲۰۲۶) معرفی شده، مورد ارزیابی نقادانه قرار گرفته و ناهماهنگی های اندازه گیری تبیین شده اند. در نهایت شش خلا پژوهشی اولویت دار به همراه ماتریس تصمیم گیری مهندسی تدوین گشته است.
کلیدواژه ها:
مدل های زبانی بزرگ (LLM) ، هوش مصنوعی لبه (Edge AI) ، استنتاج بی درنگ ، مرور دامنه ای ساختاریافته ، بهینه سازی آگاه از سخت افزار ، بافر کلید مقدار Cache ، چارچوب AL-E-MS ، هوش لبه سیار (MEI)
نویسندگان
هومن طحانی
دانشجوی دکترای مهندسی کامپیوتر دانشگاه آزاد اسلامی واحد قزوین
مرسده سنجابی
استادیار مهندسی کامپیوتر دانشگاه آزاد اسلامی واحد قزوین