Tiny-Engram: Tabelle di Concetti Indicizzate da Trigger per la Visione Generativa
Tiny-Engram è stato presentato dai ricercatori come una tabella di concetti compatta e indicizzata da trigger, che assegna indirizzi lessicali espliciti e confini di attivazione ai ricordi visivi all'interno di generatori di immagini e video congelati. Ogni concetto è rappresentato da una piccola raccolta di voci di memoria indicizzate tramite corrispondenze di n-grammi registrate, influenzando gli stati nascosti del codificatore di testo esclusivamente all'interno dell'area trigger designata. Il percorso di condizionamento rimane invariato al di fuori di questo quadro lessicale, aderendo al modello base congelato. Questo approccio innovativo collega una frase trigger specifica a un'identità target mantenendo il controllo compositivo dal prompt circostante. Tiny-Engram affronta una significativa lacuna delle tecniche di personalizzazione esistenti per i modelli di visione generativa, consentendo una gestione esplicita del recupero dei concetti nella generazione di contenuti personalizzati.
Fatti principali
- Tiny-Engram è una tabella di concetti compatta e indicizzata da trigger per modelli di visione generativa.
- Assegna ai ricordi visivi indirizzi lessicali espliciti e confini di attivazione.
- Il metodo funziona con generatori di immagini e video congelati.
- Ogni concetto è parametrizzato come un piccolo insieme di voci di memoria indicizzate da corrispondenze di n-grammi.
- La modulazione avviene solo all'interno della regione trigger corrispondente.
- Al di fuori della regione trigger, il percorso di condizionamento è identico al modello base congelato.
- Il metodo funziona sia con backbone di diffusione latente a codificatore singolo che con backbone di diffusione-transformer a codificatore multiplo.
- Collega una frase trigger rara a un'identità target mantenendo il controllo compositivo.
Entità
Istituzioni
- arXiv