مکانیسم توجه چندسره ترنسفورمر بینایی برای افزایش تعمیم پذیری تشخیص حملات بازپخش صدا

با وجود پیشرفت سیستم های تایید هویت گویندهASV ، این سیستمها در مواجهه با حملات جعل بازپخش که نیازی به مهارت خاص یا سخت افزار تخصصی جهت دور زدن سیستمهای ASV ندارند، آسیب پذیر هستند. در این مقاله با استفاده از مدل های مبتنی بر مکانیسم چندسره با رو یکرد انتها به انتها و استفاده از ساختار شبکه عصبی کانولوشی CNN ، به دنبال آن ترنسفرمر بینایی ViT، یک رویکرد جدید یادگیری عمیق برای تشخیص حملات بازپخش صدا ارائه می دهیم. با استفاده از این رویکرد اطلاعات محتوایی غنی از نگاشت ویژگی برای تشخیص حملات جعل بازپخش به دست می آید ،بطوریکه نتایج حاصل از آن از تمام روش های سنتی و پردازش سیگنال که قابلیت تعمیم پذیری خوبی دارند، بهتر است.در این مقاله از دادگان چالش ASVSpoof۲۰۱۷ به دلیل حجم کمتر اطلاعات آن استفاده شده است.با استفاده از این سیستم واحد، نتایج نرخ خطای برابر EERنشان از بهبود ۸۴/۲۳ درصدی در دادگان توسعه، ۰۲/۳۰ درصدی در دادگان ارزیابی و۵/۳۵ درصدی در تعمیم پذیری نسبت به روشهای پایه موجود در چالش ASVSpoof۲۰۱۷ دارد.

کلیدواژه ها:

تایید خودکار گوینده ، حملات باز پخش ، مکانیزم توجه چندسره ، رویکرد انتها به انتها ، ترنسفورمر بینایی