یادگیری انتقالی در سامانه های هوش مصنوعی گفتاری چندزبانه

با رشد فناوری های پردازش گفتار و توسعه مدل های چندزبانه مسئله کمبود داده، تفاوت آواشناختی زبان ها، تغییرات لهجه ای و انتقال پذیری دانش گفتاری اهمیت یافت. است یادگیری انتقالی (Transfer Learning) امکان به کارگیری دانش آموخته شده در یک زبان یا دامنه را برای بهبود عملکرد مدل در زبان های کم منبع فراهم می کند. این مقاله یک بررسی جامع از ساختارهای یادگیری انتقالی در سامانه های گفتاری چندزبانه ارائه می دهد، معماری های مدرن نظیر ۲.۰ XLS-R Whisper wave و mSLAM را تحلیل می کند و یک مدل پیشنهادی مبتنی بر انتقال تطبیقی بین زبانی ارائه می دهد. نتایج نشان می دهد که یادگیری انتقالی میان زبان های دارای شباهت و اجی یا اشتراکات زبان شناختی می تواند خطای تشخیص گفتار را تا ۱۸ الی ۴۲ درصد کاهش دهد و کیفیت مدل های ترجمه و تبدیل گفتار را به طور معناداری افزایش دهد. یادگیری انتقالی در مدل های گفتاری انتقال ویژگی (Feature Level Transfer): استخراج ویژگی های پایدار مانند mel-spectrogram، MFCC، wav۲vec، la representation و. انتقال مدل (Model-Level Transfer): بارگذاری وزن های Pretrained و ریز تنظیم محدود روی لایه های بالا. انتقال دانش مشترک آکوستیک استفاده از اشتراکات واجی میان زبان ها. انتقال دانش معنایی: بهره گیری از مدل های زبانی چندزبانه (XLM-R، mBERT) . انتقال چند مرحله ای: ابتدا انتقال بین زبان های بزرگ-بزرگ، سپس بزرگ-کوچک. مدل های مشهور چندزبانه با قابلیت انتقال (Wave ۲.۰ XLS-Meta): پیش آموزش روی ۱۲۸ زبان، مناسب برای فارسی (Whisper OpenAI): پیش آموزی وسیع روی گفتار چندزبانه همراه با تبدیل گفتار به متن و گفتار به ترجمه. HuBERT و wavLM: مناسب برای تطبیق صوتی و رفع نویز (mSLAM Google): معماری چندوجهی (speech-text multimodal). (Speech Microsoft مدل یکپارچه برای TTS، ASR و Voice Conversion. تمام این مدل ها امکان انتقال به زبان های کم منبع را با حجم اندک داده دارند.