بررسی تطبیقی روش های تبدیل متن به تصویر و تصویر به متن

هوش مصنوعی مولد در سال های اخیر مرز میان پردازش زبان طبیعی و بینایی ماشین را بیش از پیش به هم نزدیک کرده است. دو مسئله مهم در این پیوند تبدیل متن به تصویر و تبدیل تصویر به متن هستند. در مسئله نخست سامانه باید یک توصیف زبانی را به بازنمایی بصری معنادار تبدیل کند و در مسئله دوم باید محتوای بصری اشیاء، روابط و زمینه تصویر را درک کرده و آن را به زبان طبیعی بیان کند. این مقاله با تکیه بر گزارش سمینار مورد مطالعه روند تحول این دو حوزه را از شبکه های مولد تخاصمی تا معماری های ترنسفورمری، مدل های انتشار و مدل های چندوجهی بررسی می کند. در بخش متن به تصویر خانواده هایی مانند CogView، DF-GAN، DM-GAN، AttnGAN، StackGAN، GAN-INT-CLS، RAPHAEL، Imagen، Stable Diffusion، CogView و Swinv۲-Imagen تحلیل می شوند. در بخش تصویر به متن نیز مسیر تحول از رمزگذار - رمزگشا و LSTM به مکانیزم توجه ترنسفورمر و مدل های چندوجهی مانند BLIP، InternVL-۲، HCCM، BLIP و EMLIC بررسی می شود. همچنین نتایج اجرای عملی Stable Diffusion و BLIP در محیط Colab بازخوانی شده است. یافته اصلی آن است که کیفیت مدل به تنهایی تضمین کننده کیفیت کاربردی نیست و مهندسی، پرامپت، همترازی متن و تصویر، کیفیت داده، ارزیابی انسانی، کنترل خروجی و نظارت انسانی اهمیت تعیین کننده دارند. در پایان کاربردهای این فناوری ها در تبلیغات شخصی سازی، تحلیل محتوای بصری، نمونه سازی محصول و تجارت الکترونیک و نیز چالش های اخلاقی و حقوقی ارائه می شود.

کلیدواژه ها:

هوش مصنوعی ، مولد ، تبدیل متن به تصویر ، تبدیل تصویر به متن ، کپشن گذاری تصویر ، ترنسفورمر