La decomposizione interpretabile dei concetti consente un apprendimento automatico preciso nei VLM
Un nuovo approccio noto come ICED (Interpretable Concept-level Unlearning via Interpretable Concept Decomposition) affronta il problema dell'unlearning nei modelli visione-linguaggio (VLM). Le tecniche di unlearning esistenti operano tipicamente a livello di immagine o istanza, spesso eliminando in modo inadeguato conoscenze specifiche senza disturbare la semantica non correlata, specialmente quando una singola immagine comprende più concetti intrecciati. ICED utilizza un modello linguistico multimodale di grandi dimensioni per creare un vocabolario conciso e specifico per il compito a partire dal set di dimenticanza. Successivamente, scompone le rappresentazioni visive in combinazioni sparse e non negative di questi concetti semantici, consentendo regolazioni precise della conoscenza. Il processo di unlearning è inquadrato come un'ottimizzazione a livello di concetto, concentrandosi sui concetti da eliminare mantenendo l'integrità contestuale. L'articolo è disponibile su arXiv con il riferimento 2605.14309.
Fatti principali
- ICED è un framework di unlearning a livello di concetto per VLM.
- Utilizza un modello linguistico multimodale di grandi dimensioni per costruire un vocabolario di concetti.
- Le rappresentazioni visive vengono scomposte in combinazioni sparse e non negative di concetti.
- L'unlearning viene eseguito tramite ottimizzazione a livello di concetto.
- Il metodo consente la rimozione precisa della conoscenza target senza influenzare la semantica non correlata.
- L'unlearning tradizionale è a livello di immagine o istanza, il che è impreciso.
- Una singola immagine spesso contiene più concetti intrecciati.
- L'articolo è disponibile su arXiv con ID 2605.14309.
Entità
Istituzioni
- arXiv