CIVILICA We Respect the Science
(ناشر تخصصی کنفرانسهای کشور / شماره مجوز انتشارات از وزارت فرهنگ و ارشاد اسلامی: ۸۹۷۱)

ارائه روشی برای تولید sparsity در شبکه های عصبی کانولوشنی به منظور فشرده سازی ساختار شبکه و عملیات کانولوشن

عنوان مقاله: ارائه روشی برای تولید sparsity در شبکه های عصبی کانولوشنی به منظور فشرده سازی ساختار شبکه و عملیات کانولوشن
شناسه ملی مقاله: DCBDP06_039
منتشر شده در ششمین کنفرانس ملی محاسبات توزیعی و پردازش داده های بزرگ در سال 1399
مشخصات نویسندگان مقاله:

مجتبی امین زاده - دانشجوی کارشناسی ارشد، گروه مهندسی کامپیوتر، دانشکده فنی و مهندسی، دانشگاه گیلان، رشت
مهدی امینیان - استادیار، گروه مهندسی کامپیوتر، دانشکده فنی و مهندسی، دانشگاه گیلان، رشت

خلاصه مقاله:
شبکه های عصبی امروزه با دستیابی به عملکردی مطلوب و رشدی چشم گیر به یکی از رایج ترین الگوریتم های برای استفاده در برنامه های تشخیص تصویر، تشخیص گفتار و پردازش زبان های طبیعی تبدیل شده اند. با این حال، معماری های شبکه عصبی کانولوشنی بسیار عمیق و حجیم هستند و بار محاسباتی زیادی را به وجود می آورند که پیاده سازی های نرم افزارهای را دچار مشکل می کند. از این رو، استفاده از سخت افزارهایی مانند GPU در این حوزه امری رایج است. اما این موضوع باعث ایجاد هزینه بالا در محصول نهایی و حتی قابل استفاده نبودن در بسیاری از کاربردها مانند سیستم های نهفته و سیستم های کم توان می شود. در سال های اخیر استفاده کردن از FPGA برای پیاده سازی معماری های خاص شبکه عصبی کانولوشنی با رویکردهای مختلفی همچون فشرده سازی شبکه، افزایش توان محاسباتی وکاهش توان مصرفی انجام شده است. هدف این مقاله ارائه راهکاری برای تولید مقادیر صفر بیشتر در شبکه به منظور فشرده سازی و استفاده از ماتریس های اسپارس برای ذخیره سازی ساختار شبکه است. که در نتیجه، با تاثیر کمتر از 1% روی دقت بالای تولید 96% صفر در وزن های شبکه LeNet5 و بیش از 94% برای شبکه AlexNet شده است.همچنین انجام عمیات کانولوشن روی داده های فشرده تا 95% محاسبات در لایه کانولوشن را کاهش داده است.

کلمات کلیدی:
یادگیری عمیق ، شبکه عصبی کانولوشنی، فشرده سازی، ماتریس اسپارس

صفحه اختصاصی مقاله و دریافت فایل کامل: https://civilica.com/doc/1167826/