بهینه ساز مرتبه کسری آدام با رویکرد فرایادگیری مبتنی بر یادگیری تقویتی

در این پژوهش بهینه ساز مبتنی بر حسابان مرتبه کسری روی توابع هدف تصادفی ارائه شده که بر اساس برآوردهای تطبیقی از ممان های مرتبه پایین بنا شده است که عامل یادگیری تقویتی با بهینه ساز مرتبه کسری آدام سیاست گذاری قطعی عمیق و شبکه سیاست مبتنی بر مکانیزم توجه مرتبه ممان های کسری را به صورت یادگیری تقویتی فرایادگیری، پویا تنظیم می کند. این روش نسبت به تغییر مقیاس مستقل هر مولفه گرادیان تغییرناپذیر است و برای توابع هدف ناپایا، مسائلی با گرادیان های نویزی و یا پراکنده و در کاربردهایی که سرعت یادگیری بر اندازه حافظه اشغال شده اولویت دارند مناسب است. نتایج نشان دهنده سرعت بالاتر یادگیری و مقاومت بیشتر در برابر نویز نسبت به سایر روش های بهینه سازی، آدام، آداگارد و SGD با مومنتوم می باشد.

کلیدواژه ها:

حسابان کسری ، ترانسفورمر ، مکانیزم توجه