بهینه سازی مدلهای یادگیری ژرف با کاهش بیش برازش از طریق گرادیان های معکوس کنترل شده Contrastive Adam

دقت هوش مصنوعی به مجموعه ای از مدل های ریاضیاتی گفته می شود که به ماشین ها امکان می دهد وظایف را طوری مدل سازی کنند که بتوانند از داده ها یاد بگیرند، الگوها را شناسایی کنند و تصمیم گیری ها یا پیش بینی هایی هوشمند و دقیق، حتی بهتر از عامل انسانی انجام دهند. یادگیری ژرف با استفاده از شبکه های عصبی چندلایه که یکی از بهترین روش ها برای مدل سازی روابط غیر خطی است این امکان را فراهم می کند تا ویژگی های پیچیده و سطح بالای داده ها به طور خودکار استخراج شده و روابط غیر خطی بین ورودی و خروجی مدل سازی شوند بدون نیاز به مهندسی ویژگی دستی. بهینه سازها در یادگیری ژرف با استفاده از گرادیان ها نقش هدایت کننده وزن ها و پارامترهای شبکه در مسیر کاهش خطا را ایفا می کنند و با به روزرسانی موثر پارامترها فرایند آموزش را سریع تر و پایدارتر کرده و امکان رسیدن به و تعمیم بهتر مدل را فراهم می آورند. با وجود کارایی بالای بهینه سازهای موجود مانند AdamW مشکل بیش برازش در بسیاری از شبکه های عصبی ژرف هنوز پابرجاست و می تواند باعث کاهش تعمیم پذیری مدل شود. در این مقاله یک بهینه ساز جدید به نام Contrastive Adam معرفی می شود که با ترکیب بهینه سازی استاندارد و گرادیان های معکوس کنترل شده به کاهش بیش برازش و بهبود تعمیم مدل کمک می کند. آزمایش های انجام شده بر روی مجموعه داده های استاندارد نشان می دهند که این بهینه ساز بدون کاهش دقت، آموزش دقت اعتبارسنجی را بهبود می بخشد و میزان بیش برازش را در مقایسه با AdamW کاهش می دهد. نتایج همچنین نشان می دهند که عملکرد مدل ها با Contrastive Adam نسبت به بهینه ساز مرجع پایدارتر است و امکان دستیابی به مدل های تعمیم پذیرتر و دقیق تر در کاربردهای عملی فراهم می شود. این مطالعه نشان می دهد که استفاده از گرادیان های معکوس کنترل شده می تواند یک مسیر موثر برای طراحی بهینه سازهای نوین در یادگیری ژرف باشد و به بهبود عملکرد شبکه های عصبی ژرف در مسائل واقعی کمک کند.

کلیدواژه ها:

هوش مصنوعی ، یادگیری ژرف ، بهینه سازهای ژرف ، پایداری ، گرادیان ، افزایش تعمیم پذیری ، Contrastive Adam