Trasformazioni Condizionate dal Testo Sbloccano Attributi Nascosti negli Embedding CLIP
Una tecnica innovativa è stata introdotta dai ricercatori per recuperare attributi nascosti da spazi di embedding multimodali come CLIP, utilizzando trasformazioni affini condizionate dal testo. Gli embedding CLIP condensano semantiche complesse in un singolo vettore, spesso evidenziando oggetti primari mentre mascherano caratteristiche come la tonalità del colore o l'angolazione della fotocamera. Questo metodo innovativo impiega una rete neurale che crea trasformazioni informate da descrizioni in linguaggio naturale di varie categorie di attributi (ad esempio, "stile artistico" o "colore"), rendendo così questi attributi facilmente accessibili. La rete è addestrata per sincronizzare gli embedding trasformati con lo spazio latente fisso, consentendo il recupero attraverso modelli su larga scala esistenti. Questo approccio facilita l'apprendimento simultaneo di numerosi attributi, che possono essere accessibili durante l'inferenza tramite un'interfaccia testuale intuitiva. Il documento di ricerca è pubblicato su arXiv con ID 2607.22919.
Fatti principali
- Propone la trasformazione condizionata dal testo degli embedding visivi per rendere accessibili gli attributi soppressi.
- Gli embedding CLIP esprimono principalmente semantiche dominanti come l'oggetto principale, sopprimendo attributi come l'angolazione della fotocamera o la tonalità del colore.
- Una rete genera trasformazioni affini basate su descrizioni in linguaggio naturale delle categorie di attributi.
- La rete è addestrata per allineare gli embedding trasformati con lo spazio latente congelato.
- Consente il recupero utilizzando modelli su larga scala esistenti.
- Permette di apprendere molti attributi simultaneamente, accessibili al momento dell'inferenza tramite interfaccia testuale.
- Articolo disponibile su arXiv con ID 2607.22919.
Entità
Istituzioni
- arXiv