بهبودی بر شبکه های عصبی چند لایه انتشار برگشتی با به کارگیری نرخ یادگیری متغیر و تیوری اتوماتان و تعیین نرخ یادگیری بهینه

شبکه های عصبی چند لایه پیش خور از دیرباز به طور وسیعی مورد توجه محققان بوده است. این شبکه ها علی رغم موفقیت چشم گیر در برقراری ارتباط بین ورودی و خروجی، دارای چندین نقطه ضعف بوده اند. به عنوان مثال زمان آموزش این شبکه ها نسبتا طولانی است و گاهی ممکن است این شبکه ها آموزش نبینند. دلیل طولانی بودن زمان آموزش را می توان به انتخاب نامناسب پارامترهای شبکه نسبت داد. روش به دست آوردن پارامترهای وزن وبایاس شبکه، استفاده از گرادیان تابع انرژی شبکه می باشد. همان طور که می دانیم تابع خطای شبکه دارای سطح ناهمواری بوده لذا شبکه در نقاط بهینه محلی متوقف شده و آموزش نمی بیند. برای جبران اشکال های وارد به الگوریتم بازگشتی، جهت بالا بردن سرعت آموزش از نرخ یادگیری متغیر تطبیقی و برای جلوگیری از به دام افتادن شبکه در نقاط بهینه محلی از روش الگوریتم اتوماتان استفاده می نماییم. با استفاده از این روش ها می توان نرخ یادگیری بهینه برای شبکه های مختلف به دست آورد.