ترمیم تصویر با استفاده از یادگیری ماشین

ترمیم تصویر (Image Inpainting) به عنوان یکی از چالش برانگیزترین و کاربردی ترین حوزه های پردازش تصویر و بینایی کامپیوتر، هدف نهایی خود را بازسازی نواحی گم شده، آسیب دیده یا حذف شده از یک تصویر به گونه ای تعریف می کند که نتیجه نهایی برای چشم انسان کاملا طبیعی و غیرقابل تشخیص از تصویر اصلی باشد. با وجود پیشرفت های چشمگیر روش های مبتنی بر یادگیری عمیق، به ویژه شبکه های مولد تخاصمی (GANs)، تولید تصاویری با کیفیت بصری بالا و ثبات معنایی کامل هنوز یک چالش باز است. این پژوهش با هدف غلبه بر این چالش، یک چارچوب نوین ترکیبی به نام RLG-Inpaint را ارائه می دهد که از تلفیق هوشمندانه یادگیری تقویتی (Reinforcement Learning - RL) و شبکه های مولد تخاصمی (GAN) بهره می برد. هسته نوآوری این روش، استفاده از یک عامل RL است که برای هر تصویر مخدوش ورودی، بهترین بردار نهفته (z) را از فضای پیوسته انتخاب می کند تا مولد GAN بتواند تصویری با بالاترین کیفیت و ثبات معنایی ممکن را تولید کند. این فرآیند معادل یک بهینه سازی جهانی (Global Optimization) برای هر نمونه است. عامل RL با دریافت بازخورد از یک رمزنگار خودکار (Auto-Encoder) برای حفظ ثبات معنایی و یک متمایزکننده (Discriminator) برای تضمین طبیعی بودن تصویر، یاد می گیرد که چگونه بردار z را تنظیم کند. ارزیابی جامع بر روی مجموعه داده CelebA نشان می دهد که روش پیشنهادی RLG-Inpaint در مقایسه با روش پایه (U-Net پیشرفته با زیان ترکیبی) و روش پیشرفته EdgeConnect، عملکردی برتر دارد. بهبودهای قابل توجهی در معیارهای کمی (PSNR، SSIM، LPIPS) و به ویژه در ارزیابی کیفی بصری مشاهده شد؛ به طوری که RLG-Inpaint توانست جزئیات ریز مانند مژه ها و بافت پوست را با دقت بسیار بالاتری بازسازی کند و ساختارهای کلی چهره را حفظ نماید. این نتایج، اثربخشی رویکرد پیشنهادی را در ترمیم تصاویر چهره با مخدوشی های خطی و متنی تایید می کند و آن را به عنوان یک راه حل قدرتمند برای تولید نتایجی با کیفیت نزدیک به واقعیت معرفی می نماید.

کلیدواژه ها:

ترمیم تصویر ، یادگیری تقویتی ، شبکه عصبی ، U-net ، شبکه عصبی مولد تخاصمی (GAN)