بهینه سازی الگوریتم فرا ابتکاری بر روی ساختار MH

فرآیند یادگیری و بهینه سازی فراپارامتری شبکه های عصبی مصنوعی (ANN) و معماری های یادگیری عمیق (DL) یکی از چالش برانگیزترین مشکلات یادگیری ماشین در نظر گرفته می شود. چندین مطالعه گذشته از روش های انتشار برگشتی مبتنی بر گرادیان برای آموزش معماری های DL استفاده کرده اند. با این حال، روش های مبتنی بر گرادیان دارای اشکالات عمده ای مانند چسبیدن به حداقل های محلی در توابع هزینه چندهدفه، زمان اجرای گران به دلیل محاسبه اطلاعات گرادیان با هزاران تکرار و نیاز به پیوسته بودن توابع هزینه هستند. از آنجایی که آموزشANN ها وDL ها یک مسئله بهینه سازی سخت NP است، بهینه سازی ساختار و پارامترهای آن ها با استفاده از الگوریتم های فراابتکاری (MH) بطور قابل توجهی مطرح شده است. الگوریتم های MH می توانند تخمین بهینه مولفه های DL (مانند فراپارامتر، وزن ها، تعداد لایه ها، تعداد نورون ها، نرخ یادگیری و غیره) را با دقت فرموله کنند. این مقاله مروری جامع از بهینه سازی ANN و DL با استفاده از الگوریتم های MH ارائه می کند. در این مقاله، آخرین پیشرفت ها در استفاده از الگوریتم های MH در روش های DL و ANN را بررسی کرده، معایب و مزایای آن ها را ارائه کرده ایم و به برخی جهت های تحقیقاتی برای پرکردن شکاف های بین روش های MH و DL اشاره کرده ایم. علاوه بر این، توضیح داده شده است که معماری ترکیبی تکاملی هنوز کاربرد محدودی در ادبیات دارد. همچنین، این مقاله آخرین الگوریتم های MH را در ادبیات طبقه بندی می کند تا اثربخشی آن ها را در آموزش DL و ANN برای کاربردهای مختلف نشان دهد. بیشتر محققان تمایل دارند الگوریتم های ترکیبی جدید را با ترکیب MHs برای بهینه سازی فراپارامترهای DL و ANN گسترش دهند. توسعه MH های ترکیبی به بهبود عملکرد الگوریتم ها کمک می کند و قادر به حل مسائل پیچیده بهینه سازی است. به طور کلی، عملکرد بهینه MHs باید بتواند به یک مبادله مناسب بین ویژگی های اکتشاف و بهره برداری دست یابد. از این رو، این مقاله سعی می کند الگوریتم های مختلف MH را از نظر روند همگرایی، اکتشاف، بهره برداری و توانایی اجتناب از حداقل های محلی خلاصه کند. انتظار می رود ادغام MH با DLها در چند سال آینده روند آموزش را تسریع کند. با این حال، انتشارات مرتبط با این روش هنوز نادر است.

کلیدواژه ها:

بهینه سازی فراپارامتری ، یادگیری عمیق ، شبکه های عصبی ، الگوریتم های فراابتکاری