دوخت تصاویر تهیه شده توسط پهپاد با استفاده از یادگیری عمیق بدون نظارت

این تحقیق به ارائه روشی برای تولید تصاویر گسترده با استفاده از تصاویری که توسط پهپاد تهیه شده می پردازد. که با چالش های گوناگونی مانند وجود اختلاف منظر، هم پوشانی کم بین تصاویر و تغییر عمق میدان در تصاویر روبروست. روش های مختلفی سعی کردند تا این چالش ها را برطرف کنند. هر کدام از این روش ها دارای مشکلاتی هستند. برای برطرف کردن این چالش ها در این تحقیق یک چارچوب تولید تصاویر گسترده با استفاده از یادگیری عمیق بدون نظارت پیشنهاد شد. این روش مسئله را در حالت پهپاد ثابت با هم پوشانی کم بین تصاویر و حالت پهپاد در حال حرکت با هم پوشانی متوسط بین تصاویر مورد بررسی قرار داده است. روش پیشنهادی شامل دو شبکه عصبی مجزا می باشد که برای دو مرحله هم تراز کردن تصاویر و مرحله ترکیب و بازسازی تصویر مورد استفاده قرار می گیرند. در مرحله اول از روش تخمین هموگرافی عمیق بدون نظارت که در آن از استخراج ویژگی های چند مقیاسی به روش هرم ویژگی، همراه با بهره گیری از یک روش همبستگی مبتنی بر محتوا جهت تطبیق ویژگی ها و برای بهبود هم تراز کردن تصاویر از یک تبدیل اسپلاین صفحه نازک و یک روش تطبیق دقیق هم ترازی استفاده شد و روشی جهت اصلاح ساختار هندسی در ناحیه غیر هم پوشان تصویر هدف پیشنهاد شد. در مرحله دوم از یک شبکه UNet جهت ترکیب و بازسازی تصاویر و برطرف کردن چالش هایی همچون وجود اعوجاج و اختلاف روشنایی در تصاویر دوخته شده استفاده شد. روش پیشنهادی در مقایسه با روش های موجود، هم در صحنه های با اختلاف منظر متوسط و هم در صحنه های دارای هم پوشانی کم، خروجی بهتری را به نسبت کارهای مشابه ارائه می دهد و تصویر دوخته شده عاری از وجود اعوجاج و یا اختلاف در روشنایی خواهد بود.

کلیدواژه ها:

دوخت تصاویر ، تصاویر گسترده ، هموگرافی عمیق ، اسپلاین صفحه نازک