بررسی جامع روشهای شتابدهی آموزش مدلهای یادگیری عمیق در رایانش ابری با GPU/TPU و چارچوب ترکیبی Elastic-ONES

با رشد روز افزون مدلهای یادگیری عمیق و ظهور معماریهای عظیم مقیاس مانند مدلهای زبانی بزرگ (LMS)، ویژن ترنسفورمرها (ViT) و مدلهای مولد نیاز به توان محاسباتی گسترده، حافظه عظیم و ارتباطات پر سرعت بیش از پیش ضروری شده است. رایانش ابری با ارائه GPU ها و TPU ها به صورت مجازی و مقیاس پذیر امکان آموزش مدلهای بزرگ با هزینه و زمان کمتر را فراهم ساخته است. طی سالهای ۲۰۲۰ تا ۲۰۲۵ مجموعه ای از الگوریتم های موثر در زمینه بهینه سازی، حافظه موازی، سازی زمان بندی پویا، مدیریت منابع چند مستاجری و تنظیم تطبیقی پارامترهای آموزش معرفی شده اند؛ از جمله ZeRO و ZeRO-Infinity برای کاهش بار حافظه، OneFlow S برای موازی سازی منعطف، EasyScale Kale Lyra Arya ElasticDL برای زمان بندی الاستیک و ONES برای تنظیم تکاملی اندازه دسته. این مقاله با رویکرد مروری این الگوریتم ها را تحلیل و مقایسه می کند، شکاف های پژوهشی موجود را استخراج می نماید، و سپس یک چارچوب ترکیبی پیشنهادی با عنوان EOH-Plus معرفی می کند که با ادغام زمان بندی الاستیک، تنظیم تکاملی batch size، پارتیشن بندی حافظه مبتنی بر ZeRO و هماهنگی Edge Cloud، کارایی، پایداری و هزینه آموزش را بهینه می سازد.

کلیدواژه ها:

یادگیری عمیق ، رایانش ابری ، GPU/TPU ، آموزش توزیع شده ، ZeRO ، OneFlow ، ElasticDL ، زمان بندی الاستیک ، Bath Size ، Edge Cloud