روشی موثر برای دیجیتال سازی و بازسازی سه بعدی سطوح شفاف و شیشه ای با پردازش تصویر

چکیده بازسازی سه بعدی سطوح شفاف و شیشه ای یکی از مسائل دشوار و همچنان باز در بینایی ماشین است؛ زیرا پدیده های عبور نور، بازتاب جزئی و شکست، فرض بنیادین بازتاب پخشی را نقض می کنند و روش های کلاسیک مانند فتوگرامتری، نور ساختاریافته و اسکن لیزری را با خطای زیاد یا شکست کامل روبه رو می سازند. در این مقاله روش نرم افزارمحور GlassNeS پیشنهاد می شود که هندسه سطح شفاف را با یک میدان فاصله علامت دار عصبی مدل می کند، مسیر پرتو را به صورت تمایزپذیر بر اساس قانون اسنل می شکند و ضریب شکست ماده را هم زمان با هندسه، به عنوان پارامتری یادگیرنده تخمین می زند. ورودی سامانه تنها تصاویر رنگی چندنما از دوربین معمولی است و خروجی آن یک مش سه بعدی پیوسته و مقدار بهینه شده ضریب شکست است. نوآوری های اصلی عبارت اند از رندرینگ هیبریدی هندسه-اپتیک با تفکیک پرتوهای شکست پذیر از بازتاب کلی داخلی، خودکالیبراسیون ضریب شکست بدون دانش پیشین از جنس ماده، و استخراج مش بسته قابل استفاده در کاربردهای مهندسی. اعتبارسنجی روش بر روی مجموعه داده استاندارد Dex-NeRF و دو شیء چالش برانگیز بطری شیشه ای و لیوان پایه دار طراحی شده است.

کلیدواژه ها:

بازسازی سه بعدی ، سطوح شفاف ، میدان فاصله علامت دار عصبی ، شکست نور ، ضریب شکست ، پردازش تصویر