بهینه سازی معماری شبکه های عصبی با استفاده از الگوریتمهای ابتکاری

شبکه های عصبی قسمت مهمی از چارچوب یادگیری عمیق هستند که توانسته اند نتایج قابل قبولی در حوزه های مختلفو مسائل پیچیده داشته باشند اما طراحی معماری شبکههای عصبی یک کار چالش برانگیز است. انتخاب هوشمندانهمعماری شبکه که وابسته به پارامترهای شبکه است، فرآیندی زمانبر است. پژوهش های زیادی برای خودکارسازی فرآیندطراحی شبکه های عصبی با استفاده از الگوریتمهای ابتکاری مختلف صورت گرفته است. الگوریتم های تکاملی یکی ازبهترین روشها برای خودکارسازی فرآیند جستجوی معماری شبکه هستند، اما چالش این الگوریتم ها این است کهمحاسبات زیادی دارند. در پژوهشی که توسط لی ۱ در سال ۲۰۱۹ انجام شده است، روشی برای جستجوی کارآمدشبکه های عصبی با محدود ساختن جستجوی سیستماتیک از طریق تبدیل شبکه و همچنین بهینه سازی بیزیپیشنهادشده است. بااین حال، این روش دارای یک مشکل است و آنهم اینکه به دلیل فضای جستجوی زیاد وآموزشهای تکراری، منابع محاسباتی زیادی موردنیاز است که این خود باعث افزایش زمان موردنیاز میشود ] ۱۹ [. دراین مقاله با توجه به اهمیت شبکه های عصبی و اینکه برای انتخاب معماری شبکه به صورت بهینه باید پارامترهای زیادیدر نظر گرفته شود و این فرآیند زمانبر است، سعی شده است روشی بهینه برای خودکارسازی معماری شبکه های عصبیبا استفاده از الگوریتمهای ابتکاری ارائه شود که به الگوریتمهای تکاملی سریعتر برای یافتن معماری شبکه عصبی بهینهمنجر شود. برای رسیدن به این هدف، یک الگوریتم ساده برای آزمایش اینکه آیا تکامل یک معماری شبکه در چندمرحله بر اساس دستاوردهای آموزشی فوری میتواند منجر به مزایای بلندمدت شود، پیشنهادشده است. گرچه جستجویمعماری به طورکلی به توپولوژی شبکه وابسته است، در این موردتوجه را به جستجوی توپولوژی شبکه محدود میکنیم.الگوریتم پیشنهادی دارای دو مرحله مجزا است: مرحله یادگیری و مرحله تکامل. در مرحله یادگیری، یک شبکه از یکمعماری ثابت با استفاده از یک تکنیک مبتنی بر گرادیان مانند انتشار به عقب آموزش داده میشود. در مرحله تکامل،شبکه موجود در معرض تغییرات تکاملی است؛ که در این مورد اضافه کردن گره ها و اتصالات با وزنهای اولیه تصادفیاست. در ادامه بهترین معماری که توسط تکامل یافت شده است به مرحله آموزش بازگردانده میشود. این فرآیند تازمانی که یک معماری رضایتبخش پیدا شود تکرار میشود. چیزی که تکامل را به صورت حریصانه در نظر میگیرد ایناست که ارزیابی بر اساس پیشرفت آموزش، بهجای دقت نهایی انجام میشود. همچنین تکامل بر اساس معماری از پیشآموزش دیده نسبت به معماری آموزش ندیده بهتر عمل میکند. در پایان عملکرد روش پیشنهادی را با یک طرح تصادفیمقایسه میکنیم که در آن بهجای مقدار تناسب تعیین شده، یک مقدار تناسب تصادفی به هر شبکه اختصاص دادهمیشود. به طورکلی، هدف این پژوهش تشویق تحقیقات به منظور افزایش بیشتر انتقال از طرحهای یادگیری عمیق مبتنیبر انسان سنتی به رویکردهای مبتنی بر جستجو است.

کلیدواژه ها:

شبکه های عصبی ، الگوریتم های ابتکاری ، بهینه سازی ، معماری