یک سیستم ترکیبی مبتنی بر YOLOv۸ و Vision Transformer برای تشخیص و شناسایی ارقام فارسی در چکهای صیادی

با وجود استانداردسازی چکهای صیادی و استفاده از QR-Code برای ذخیره اطلاعات، نرخ شناسایی پذیری این کدها در عمل به دلیل آسیب های فیزیکی، کیفیت پایین چاپ و شرایط نامطلوب اسکن بسیار پایین است، کمتر از ۲۰ درصد که منجر به ورود دستی اطلاعات و افزایش خطاهای انسانی می شود. این پژوهش یک سیستم هوشمند ترکیبی مبتنی بر یادگیری عمیق برای تشخیص و شناسایی خودکار ارقام فارسی در چکهای صیادی ارائه می دهد. سیستم پیشنهادی شامل سه مرحله اصلی است: تشخیص نواحی حاوی ارقام شماره شبا، شناسه صیاد و شماره حساب با استفاده از الگوریتم تک مرحله ای YOLOv۸، شناسایی تک رقم ها با دو معماری عمیق شامل ResNet-۵۰ و Vision Transformer، و اعتبار سنجی مبتنی بر قواعد بانکی. مجموعه داده اختصاصی شامل ۲۵۰ تصویر از چک های واقعی از بانک های مختلف کشور است که پس از برچسب گذاری به سه بخش آموزش (۷۰%)، اعتبارسنجی (۱۵%) و آزمون (۱۵%) تقسیم شدند. نتایج ارزیابی نشان داد که مدل YOLOv۸ به میانگین دقت متوسط (mAP۰.۵) برابر ۹۴ دست یافته که نسبت به YOLOv۵ (۰.۹۰: mAP) و YOLOv۷ (۰.۹۲: mAP) برتری دارد. در مرحله شناسایی ارقام مدل Vision Transformer با دقت ۰.۹۷۲ عملکرد بهتری نسبت به ResNet-۵۰ با دقت ۰.۹۶۴ ارائه داد. مدل YOLOv۵ نیز به عنوان baseline با دقت ۰.۹۰ ارزیابی شد. ترکیب مدل YOLOv۸ و Vision Transformer با اعتبار سنجی قواعد بانکی، دقت کلی سیستم را به ۹۷.۲ درصد و خطا را به کمتر از ۳ درصد رساند. تحلیل ماتریس درهم ریختگی نشان داد که ارقام مشابه مانند "۱" بیشترین خطا را دارند.

کلیدواژه ها:

تشخیص ارقام ، فارسی ، چک صیادی ، یادگیری عمیق ، Vision Transformer ، YOLO