هرس ساختاریافته تطبیقی آگاه از دنباله در شبکه های پیش خور ترنسفورمر با استفاده از AdaTAIL-FFN

مدل های Transformer به دلیل تعداد زیاد پارامترها و هزینه محاسباتی بالا، برای استقرار در محیط های محدود با چالش مواجه اند. در این پژوهش، روش AdaTAIL-FFN برای هرس ساختاری شبکه های پیش خور Transformer ارائه می شود. هدف روش، جلوگیری از حذف نورون هایی است که اگرچه در بیشتر نمونه ها سهم کمی دارند، اما برای بخش محدودی از ورودی ها نقش مهمی ایفا می کنند. برای هر نورون FFN، ابتدا contribution عملکردی در سطح نمونه با استفاده از activation و norm وزن خروجی محاسبه می شود. سپس contribution میانگین و contribution بخش بالایی توزیع با استفاده از CVaR استخراج شده و یک ضریب تطبیقی، میزان تاثیر هر یک را در اهمیت نهایی نورون تعیین می کند. روش پیشنهادی بدون بازآموزی و بدون محاسبه گرادیان اجرا می شود و نورون ها به صورت ساختاری از FFN حذف می شوند. آزمایش ها روی BERT-base و مجموعه داده های SST-۲ و AG News نشان دادند که AdaTAIL در هرس ۴۰ درصدی، دقت ۹۱.۴۰٪ را در SST-۲ و ۹۴.۷۶٪ را در AG News حفظ می کند. در همین شرایط، حدود ۲۰.۶۹٪ از کل پارامترهای مدل و ۳۹.۹۷٪ از محاسبات FFN کاهش یافت. نتایج نشان می دهند درنظرگرفتن رفتار tail در توزیع contribution می تواند معیار موثری برای شناسایی نورون های کم اهمیت و هرس ساختاری مدل های Transformer باشد.

کلیدواژه ها:

Model Compression ، Structured Pruning ، Transformer ، BERT ، Feed-Forward Network ، CVaR ، Tail-Aware Pruning ، Post-Training Compression