افزایش نرخ همگرایی شبکه های عصبی پرسپترون چند لایه با اصلاحی بر روش خود انطباقی پویا

عملکرد مناسب الگوریتم پس انتشار خطا نسبت به نرخ یادگیری بسیار حساس می باشد. از آنجاییکهع با حرکت الگوریتم روی سطح خطا به دلیل ناهمواری سطح مقدار بهینه نرخ یادگیری تغییر می کند، تنهای در صورت پویایی نرخ یادگیری در حین فرایند آموزش می توان به یک الگوریتم آموزشی مناسب دست یافت. از آنجاییکه در هر تکرار از الگوریتم پس انتشار لازم است نرخ یادگیری بهینه محاسبه شود، سادگی روش پویا سازی از اهمیت زیادی برخوردار است. در این پژوهش روشی جهت پویا سازی نرخ یادگیری الگوریتم BP ارائه خواهد شد، که علاوه بر مزیت سادگی اجرایی، با تقریب رفتار تابع خطا به یک سهمی، نرخ یادگیری بهینه را در گستره ای از مقادیر جستجو خواهد کرد که نسبت به روش هایی که جهت بهینه سازی نرخ یادگیری، سطح تابع خطا را به صورت نقطه ای بررسی می کنند عملکرد بهتری نشان می دهد. به کارگیری این روش در الگوریتم BP منجر به الگوریتم پس انتشار با روش خود تطبیقی پویای اصلاح شده ( DS-mod-BP) خواهد شد. مقایسه کارایی این الگوریتم با الگوریتم های DS-BP و ηα-DS برای برخی مسایل متداول شبکه های عصبی نشاندهنده رشد بیش از 35% در نرخ همگرایی می باشد.

کلیدواژه ها:

پس انتشار خطا ، روش خود تطبیقی پویای اصلاح شده ، شبکه عصبی پرسپترون چند لایه ، نرخ یادگیری تطبیقی