ارزیابی کیفیت تصویر با استفاده از یادگیری عمیق

هدف از ارزیابی کیفیت تصویر بدون مرجع NR-IQA تخمین کیفیت تصویر ادراکی مطابق با ارزیابی های ذهنی است که یک مشکل پیچیده و حل نشده به دلیل عدم وجود تصویر مرجع اصلی با کیفیت کامل است. ارزیابی های ذهنی گران قیمت و زمان بر است که آنها را در دنیای واقعی غیر عملی می کند؛ بنابراین لازم است مدل های ریاضی طراحی شود که قادر به پیش بینی ارزیابی کیفیت باشد. هدف طراحی مدل های ریاضی این است که قادر به انجام پیش بینی کیفیت یک تصویر به طور دقیق و خودکار باشند. یک هدف ایده آل در روش ارزیابی کیفیت تصویر این است که بتواند پیش بینی های کیفیت یک انسان معمولی را بر اساس در دسترس بودن یک تصویر مرجع که بدون تحریف و دارای کیفیت عالی در نظر گرفته شده است تقلید کند. رویکرد مبتنی بر شبکه عصبی پیچشی (CNN) برای ارزیابی کیفیت تصویر نتایج ارزیابی امیدوار کننده ای را نشان داده است. مدل های بسیاری تاکنون برای تشخیص کیفیت تصاویر طراحی شده اند که در بیشتر آنها استفاده همزمان از ویژگی های غیر محلی و محلی در نظر گرفته نشده است. در این پایان نامه یک مدل جدید برای پرداختن به وظیفه ارزیابی کیفیت تصویر بدون مرجع با استفاده از یک رویکرد ترکیبی که از شبکه های عصبی، پیچشی، تبدیل موجک گسسته (DWT) و توجه به خود در ترانسفورمر برای استخراج ویژگی های محلی و غیر محلی از تصویر ورودی سود می برد پیشنهاد شده است. با استفاده از هر سه این مدل می تواند بهتر از معماری های موجود، به ویژه در حجم داده کم عمل کند در حالی که عملکرد مشابهی را در داده های بزرگ به دست می آورد. این مدل سه شاخه ای از یک مدل شبکه عصبی پیچشی با لایه اختصاصی تبدیل موجک گسسته و یک شبکه عصبی از پیش آموزش دیده پایه و مدل بینایی ترانسفورمر تشکیل شده است. ورودی های شبکه عصبی پیچشی مبتنی بر موجک از تصاویر فرکانس بالا، افقی، عمودی و مورب انتخاب می شوند که با استفاده از تبدیل موجک تجزیه شده اند. در این روش اطلاعات ساختار محلی تصویر از طریق شبکه عصبی پیچشی گرفته شده، سپس برای دور زدن جهت گیری محلی در میان ویژگی های استخراج شده از شبکه عصبی پیچشی و به دست آوردن یک نمایش غیر محلی از تصویر از ترانسفورمر و تبدیل موجک به صورت موازی برای استخراج ویژگی های غیر محلی استفاده می شود. برای نشان دادن اثر بخشی، کار روش پیشنهادی بر روی سه مجموعه داده استاندارد ارزیابی کیفیت تصویر شامل اعوجاج های مصنوعی و طبیعی ارزیابی شده است. این مدل به ضریب همبستگی ۰.۹۷۲۷ دست یافته است. یافته های تجربی نشان می دهند که روش پیشنهادی هم از اطلاعات سراسری و هم از اطلاعات محلی تصویر سود می برد و از چندین روش بدون مرجع بررسی شده در این پایان نامه بهتر عمل کرده است که کارایی و تعمیم پذیری آن را نشان می دهد.

کلیدواژه ها:

ارزیابی کیفیت تصویر بدون مرجع ، شبکه عصبی پیچشی ، یادگیری عمیق ، تبدیل موجک ، ترانسفورمر