چکانش دانش چندمرحله ای بر پایه بازنمایی های مبتنی بر زیر فضا

چکانش دانش با هدف ساخت مدل های دانش آموز کم حجم تحت هدایت مدل های معلم بزرگ مقیاس به کار می رود و از این طریق امکان استفاده از شبکه های کارآمدتر را فراهم می سازد. با وجود این، فاصله عملکردی میان معلم و دانش آموز همچنان چشمگیر است، زیرا بخش مهمی از دانش موجود در معلم به طور کامل به دانش آموز منتقل نمی شود. برای حل این مشکل، در این مقاله مدل چکانش دانش پیشنهادی چندمرحله ای پیشنهاد شده که به صورت هم زمان دانش را از مسیر هم ترازی ویژگی ها و تطبیق لاجیت ها منتقل کرده و وابستگی های میان لایه ای شبکه را نیز مدل سازی می کند. این رویکرد سیگنال های نظارتی دقیق تری تولید کرده و دانش آموز را قادر می سازد بازنمایی های معلم را کامل تر فرا بگیرد. مدل چکانش دانش پیشنهادی از سه مولفه مکمل تشکیل شده است: ماژول توجه سه بعدی که نواحی مهم فضایی و کانالی را برجسته می کند؛ ماژول ماسک خصمانه که زیر فضاهای مفید و غیرمفید را به صورت تطبیقی جدا می سازد؛ و ماژول تنظیم فضای کروی که توزیع ویژگی های معلم و دانش آموز را روی ابرکره هم راستا می کند. ترکیب این سه ماژول باعث می شود دانش آموز بتواند فضای ویژگی و فضای خروجی معلم را دقیق تر کاوش کند و به بازنمایی های عام تر و پایدارتر دست یابد. آزمایش های گسترده روی CIFAR-۱۰۰، STL-۱۰ و TinyImageNet نشان می دهند که مدل چکانش دانش پیشنهادی در بیشتر پیکربندی ها عملکردی بهتر از روش های پیشرفته موجود ارائه می کند.

کلیدواژه ها:

چکانش دانش ، بازنمایی آگاه از زیرفضا ، چنددانه گی ، توجه سه بعدی ، ماسک خصمانه ، تنظیم فضای کروی