رنگی سازی ویدئو بر پایه پیاده سازی مدل انتشار

پژوهشگران در حال بهره گیری از تکنیک های پیشرفته برای توسعه الگوریتم هایی هستند که توانایی افزودن خودکار رنگ به ویدئوهای سیاه و سفید را دارند. این پیشرفت می تواند تجربه ما از فیلم های تاریخی را متحول کرده و ابزاری قدرتمند را در اختیار فیلم سازان و تولیدکنندگان ویدئو قرار دهد. این الگوریتم ها با استفاده از شبکه های عصبی عمیق پیشرفته به تحلیل تصاویر می پردازند، الگوها را شناسایی می کنند و راهی نویدبخش برای استخراج معنا و بینش از داده های بصری در حوزه بینایی ماشین ارائه می دهند. با وجود اینکه مطالعات کنونی، بیشتر بر رنگی سازی تصاویر متمرکز هستند، در زمینه ویدئوها و فیلم ها، همچنان یک خلا محسوس در استفاده از تکنیک های یادگیری ماشین عمیق وجود دارد. این تحقیق با هدف پر کردن این شکاف صورت گرفته است و نشان می دهد که تکنیک های رنگی سازی تصاویر امروزی می توانند برای ویدئوها نیز به طور موثر استفاده شوند و با پیشرفته ترین روش های موجود معرفی شده در چالش رنگی سازی ویدئو NTIRE ۲۰۲۳، برابری کنند.در این پژوهش، کاربرد مدل های انتشار مورد بررسی قرار گرفته است؛ مدل هایی که به دلیل توانایی در تولید تصویر و متن، محبوبیت یافته اند. در پیاده سازی ما، یک مدل انتشار برای افزودن نویز به فریم ها به کار رفته و یک شبکه U-Net مجهز به لایه های خودتوجهی، وظیفه پیش بینی فریم های بدون نویز و درنتیجه، پیش بینی رنگ فریم های ویدئویی را بر عهده دارد. برای آموزش مدل از مجموعه داده های DAVIS و LDV استفاده شد. بدین ترتیب، مقایسه فریم های رنگی شده با فریم های واقعی در مجموعه آزمون، نتایجی امیدوارکننده را در معیارهای کیفیت مختلف ازجمله PSNR، SSIM، FID و CDC نشان داد.

کلیدواژه ها:

رنگی سازی ویدئو ، مدل های انتشار در یادگیری عمیق ، معیارهای ارزیابی