مروری بر روشهای مقابله با محوشدن گرادیان در شبکه های عصبی عمیق از رویکردهای متداول تا روش های نوین

محوشدن گرادیان یکی از چالش های اساسی در آموزش شبکه های عصبی عمیق است که با کاهش تدریجی مقدار گرادیان در فرایند پس انتشار خطا، فرایند یادگیری در لایه های ابتدایی شبکه را با اختلال مواجه می کند. در این مقاله مروری، روش های مقابله با این چالش در چهار دسته شامل روش های معماری، نرمال سازی، کنترل طیفی و بهینه سازی به صورت ساختاریافته بررسی می شوند. ابتدا مبانی نظری مسئله شامل تحلیل ماتریس ژاکوبی و نقش توابع فعال سازی تشریح می شود، سپس روش های کلیدی شامل شبکه های باقیمانده، نرمال سازی دسته ای، روش های مبتنی بر کنترل طیفی ماتریس ژاکوبی و مدل های فضای حالت بررسی می شوند، همچنین نقش این روش ها در بهبود آموزش شبکه های عصبی گرافی نیز مورد توجه قرار می گیرد. بررسی مطالعات نشان می دهد که روش های مبتنی بر کنترل طیفی از پشتوانه تحلیلی قوی تری برای حفظ پایداری گرادیان برخوردارند، در مقابل روش های معماری از نظر سادگی پیاده سازی و کارایی عملی عملکرد مطلوب تری ارائه می کنند. باوجود پیشرفت های حاصل شده چالش هایی مانند هزینه های محاسباتی بالا و حساسیت به تنظیم ابر پارامترها همچنان از محدودیت های مهم این حوزه به شمار می روند. در پایان توسعه رویکردهای ترکیبی مبتنی بر معماری و کنترل طیفی به عنوان یکی از مسیرهای امیدبخش پژوهش های آینده معرفی می شود.

کلیدواژه ها:

محوشدن ، گرادیان ، شبکه های عصبی ، عمیق ، پس انتشار خطا ، شبکه های باقیمانده ، نرمال سازی دسته ای ، ماتریس ژاکوبی