کوانتیزاسیون چند رقمی ترنری جهت بهبود تنکی و محاسبات شبکه های عصبی عمیق در کاربردهای نهفته
- سال انتشار: 1400
- محل انتشار: دوفصلنامه فناوری اطلاعات و ارتباطات ایران، دوره: 16، شماره: 59
- کد COI اختصاصی: JR_AICTI-16-59_009
- زبان مقاله: فارسی
- تعداد مشاهده: 124
نویسندگان
دانشجو مقطع ارشد، دانشکده مهندسی برق و کامپیوتر، دانشگاه تهران، تهران، ایران
دانشجو مقطع دکتری، دانشکده مهندسی برق و کامپیوتر، دانشگاه تهران، تهران، ایران
استادیار، دانشکده مهندسی برق و کامپیوتر، دانشگاه تهران، تهران، ایران
چکیده
شبکه های عصبی عمیق به دلیل موفقیت در کاربردهای مختلف، به جذابیت فوق العاده ای دست یافته اند. اما پیچیدگی محاسبات و حجم حافظه از موانع اصلی برای پیاده سازی آن ها در بسیاری از دستگاه های نهفته تلقی می شود. از مهم ترین روش های بهینه سازی که در سال های اخیر برای برطرف نمودن این موانع ارائه شده، می توان به کوانتیزاسیون و هرس کردن اشاره کرد. یکی از روش های معروف کوانتیزاسیون، استفاده از نمایش اعداد چندرقمی باینری است که علاوه بر بهره بردن از محاسبات بیتی، افت صحت شبکه های باینری را در مقایسه با شبکه های دقت کامل کاهش می دهد. اما به دلیل نداشتن قابلیت نمایش عدد صفر در آن ها، مزایای تنکی داده ها را از دست می دهند. از طرفی، شبکه های عصبی عمیق به صورت ذاتی تنک هستند و با تنک کردن پارامترهای شبکه عصبی عمیق، حجم داده ها در حافظه کاهش می یابد و همچنین به کمک روش هایی می توان انجام محاسبات را تسریع کرد. در این مقاله می خواهیم هم از مزایای کوانتیزاسیون چند رقمی و هم از تنکی داده ها بهره ببریم. برای این منظور کوانتیزاسیون چند رقمی ترنری برای نمایش اعداد ارائه می دهیم که علاوه بر افزایش صحت شبکه نسبت به شبکه چندرقمی باینری، قابلیت هرس کردن را به شبکه می دهد. سپس میزان تنکی در شبکه کوانتیزه شده را با استفاده از هرس کردن افزایش می دهیم. نتایج نشان می دهد که تسریع بالقوه شبکه ما در سطح بیت و کلمه می تواند به ترتیب ۱۵ و ۴۵ برابر نسبت به شبکه چند رقمی باینری پایه افزایش یابد.کلیدواژه ها
شبکه های عصبی عمیق، کوانتیزاسیون چند رقمی ترنری ،شبکه عصبی تنک، هرس کردن، دستگاه های نهفتهاطلاعات بیشتر در مورد COI
COI مخفف عبارت CIVILICA Object Identifier به معنی شناسه سیویلیکا برای اسناد است. COI کدی است که مطابق محل انتشار، به مقالات کنفرانسها و ژورنالهای داخل کشور به هنگام نمایه سازی بر روی پایگاه استنادی سیویلیکا اختصاص می یابد.
کد COI به مفهوم کد ملی اسناد نمایه شده در سیویلیکا است و کدی یکتا و ثابت است و به همین دلیل همواره قابلیت استناد و پیگیری دارد.