یک چارچوب استدلال معنایی سلسله مراتبی برای تشخیص اشیاء در طراحی های انتزاعی

تشخیص اشیاء در تصاویر واقع گرایانه پیشرفت چشمگیری داشته است اما در تصاویر غیر واقع گرایانه مانند اسکچ ها به دلیل تغییر دامنه بصری و عدم وضوح، عملکرد ضعیفی نشان می دهد. ویژگی های بصری با دقت پایین، ناقص و بسیار انتزاعی در طراحی ها، نیاز به یک تغییر رویکرد از تطبیق صرفا بصری به سمت استدلال مفهومی و معنایی دارد، چالشی که مدل های بینایی استاندارد فاقد آن هستند. چارچوب های قبلی مانند تشخیص عامل محور هدایت شده توسط مدل زبانی بزرگ و مدل های زبانی بزرگ چندوجهی از توانایی مدل های زبانی بزرگ در تولید برچسب های پویا و استدلال زمینه ای برای بهبود درک دنیای باز بهره برده اند. ما Sketch-A-LLM، یک چارچوب نوین استدلال معنایی سلسله مراتبی را پیشنهاد کرده ایم که از یک مدل مکان یابی بصری انتزاعی برای تولید پیشنهاد و یک طبقه بندی کننده معنایی مبتنی بر مدل زبانی بزرگ برای استدلال زنجیره فکری استفاده می کند. این چارچوب قابلیت تشخیص صفر نمونه برتر برای اشیاء انتزاعی را فراهم می سازد. روش ما به طور قابل توجهی از خطوط مبنای پیشرفته فراتر رفته و پارادایم جدیدی را برای درک بصری مبتنی بر اولویت دهی قصد معنایی ایجاد می کند.

کلیدواژه ها:

مدل های زبانی بزرگ ، تشخیص اشیاء ، اسکچ ها ، طراحی ها ، استدلال معنایی