تحلیل و مقایسه ۲۱ قید محدودسازی در الگوریتم گرادیان نزولی اتفاقی به روش کرنل
- سال انتشار: 1401
- محل انتشار: فصلنامه مهندسی برق و الکترونیک ایران، دوره: 19، شماره: 3
- کد COI اختصاصی: JR_JIAE-19-3_015
- زبان مقاله: فارسی
- تعداد مشاهده: 183
نویسندگان
Department of Computer Engineering, Science & Research Branch, Islamic Azad University
Faculty of Electrical Engineering, Department of Mechatronics Engineering, Industrial Control Center of Excellence, APAC Research Group, K. N. Toosi University of Technology
Department of Computer Engineering, Science & Research Branch, Islamic Azad University
چکیده
مقیدسازی الگوریتم گرادیان نزولی باهدف آموزش شبکه عصبی با وزنهایی محدودشده در کاربردهایی نظیر شفاف سازی شبکه، کاهش حجم شبکه ازنظر ذخیره سازی و افزایش سطح عمومیت پذیری آن موثر است. همچنین می تواند در افزایش سرعت همگرایی، سرعت استنتاج و یافتن جوابی بهینه نیز مناسب باشد. در این نوشتار با استفاده از ترفند کرنل به عنوان روشی برای تحمیل انواع قیود بر الگوریتم آموزش، تعداد ۲۱ قید مختلف با یکدیگر مقایسه شده است که تعداد ۱۶ قید آن با الهام از عدم قطعیت موجود در شبکه های عصبی زیستی برای اولین بار در این مقاله ارائه شده است. مقایسه قید ها بدون هیچ گونه افزایش داده و منظم سازی، صورت گرفته است تا اثر قید ها بر فرآیند بهینه سازی واضح باشد. به منظور ارزیابی، برای هر قید در حل مسائل طبقه بندی MNIST، CIFAR-۱۰ و CIFAR-۱۰۰ با شبکه های عصبی عمیق مختص آن، ۶۳ آزمایش شبیه سازی شده است. نتایج نشان می دهد هر قید در هر مجموعه داده تاثیر متفاوتی بر فرآیند آموزش دارد و به طور مشخص قیدهای پیشنهادی که از عدم قطعیت حاضر در شبکه های عصبی زیستی الهام گرفته شده است، میتواند بهتر از قیدهای ارائه شده در تحقیقات پیشین باشد و باعث بهبود عملکرد شبکه عصبی عمیق ازنظر دقت طبقه بندی شود.کلیدواژه ها
Deep Neural Network, Biological Neural Network, Constrained Gradient Descent, Regularization, Kernel Method, and Constraint., شبکه عصبی عمیق, شبکه عصبی زیستی, گرادیان نزولی محدودشده, منظم سازی, روش کرنل, قیداطلاعات بیشتر در مورد COI
COI مخفف عبارت CIVILICA Object Identifier به معنی شناسه سیویلیکا برای اسناد است. COI کدی است که مطابق محل انتشار، به مقالات کنفرانسها و ژورنالهای داخل کشور به هنگام نمایه سازی بر روی پایگاه استنادی سیویلیکا اختصاص می یابد.
کد COI به مفهوم کد ملی اسناد نمایه شده در سیویلیکا است و کدی یکتا و ثابت است و به همین دلیل همواره قابلیت استناد و پیگیری دارد.