بهینه سازی آموزش مدل های عمیق با ادغام تحلیل داده های کلان در معماری یادگیری توزیع شده

آموزش کارآمد شبکه های عصبی عمیق بر روی مجموعه داده های کلان نیازمند معماری های توزیع شده ای است که بتوانند تعادلی میان بار محاسباتی و هزینه ارتباطی برقرار کنند. رویکردهای فعلی اغلب به دلیل پردازش داده های کم اهمیت و تکراری دچار اتلاف منابع و کندی در همگرایی می شوند. در این پژوهش یک چارچوب ترکیبی برای بهینه سازی آموزش مدل های عمیق معرفی شده است که از تحلیل های پیشرفته داده های کلان جهت نمونه برداری هوشمند و توزیع پویا استفاده می کند. با ادغام ماژول تحلیل داده در معماری پارامتر سرور (Parameter Server) سیستم قادر است داده های آموزشی را بر اساس میزان تاثیرگذاری بر گرادیان ها اولویت بندی کرده و از انتقال داده های کم ارزش جلوگیری کند. ارزیابی عملکرد این روش بر روی مجموعه داده های استاندارد نشان دهنده کاهش ۳۰ درصدی در زمان آموزش و بهبود بهره وری استفاده از پهنای باند شبکه است. این یافته ها اهمیت ادغام لایه تحلیل داده با چرخه آموزش مدل های عمیق را برای مقیاس پذیری در محیط های ابری و کلاسترها تایید می کند.

کلیدواژه ها:

یادگیری عمیق ، معماری توزیع شده ، اولویت بندی داده ها ، کلان داده ، کاهش سربار ارتباطی