PeakPatch: Recuperare la Negazione dalle Caratteristiche Congelate di CLIP
C'è stata una scoperta importante riguardo a CLIP, il noto modello visione-linguaggio: fatica a distinguere frasi che significano l'opposto, come 'un cane' versus 'non un cane', perché appaiono molto simili nella sua analisi. Questo problema, chiamato Collasso Rappresentazionale, si verifica perché gli strati finali del modello si concentrano più sull'abbinamento visivo che sulla struttura del linguaggio. Per risolvere questo problema senza riaddestrare, i ricercatori hanno creato una soluzione chiamata PeakPatch. Funziona utilizzando una Rete di Correzione degli Embedding (ECN) che cattura segnali legati alla negazione dagli strati precedenti e li aggiunge all'output finale. Questo studio, condiviso su arXiv (2607.23271), evidenzia un difetto chiave nei modelli contrastivi che potrebbe influenzare il modo in cui recuperiamo immagini e opere d'arte quando la negazione è importante.
Fatti principali
- 1. CLIP mappa frasi opposte come 'un cane' e 'non un cane' in embedding quasi identici.
- 2. Il Collasso Rappresentazionale si verifica quando gli strati finali perdono la sintassi composizionale per l'allineamento visivo.
- 3. Gli strati intermedi dell'encoder di testo di CLIP costruiscono la sintassi composizionale.
- 4. PeakPatch intercetta l'encoder al suo picco composizionale.
- 5. Una Rete di Correzione degli Embedding (ECN) utilizza l'attenzione incrociata per estrarre segnali specifici della negazione.
- 6. PeakPatch è un sistema di correzione post-hoc leggero.
- 7. L'articolo è disponibile su arXiv con ID 2607.23271.
- 8. Il metodo non altera i pesi pre-addestrati.
Entità
Istituzioni
- arXiv