C-VCE: Modelli di Diffusione per Spiegazioni Visive Controfattuali Basate su Concetti
Un nuovo framework di diffusione chiamato C-VCE è stato sviluppato dai ricercatori per creare spiegazioni visive controfattuali. Questo modello innovativo integra un classificatore nel framework generativo attraverso un layer di bottleneck concettuale. Gli utenti possono regolare i concetti semantici durante il processo di campionamento, consentendo alterazioni minime in aree specifiche dell'immagine, mantenendo intatto il resto. A differenza degli attuali metodi di diffusione che dipendono da classificatori esterni che analizzano immagini rumorose—portando a fragilità—C-VCE utilizza caratteristiche comprensibili dall'uomo per guidare le modifiche. Questo framework mantiene le relazioni tra le caratteristiche e genera modifiche realistiche senza bisogno di un classificatore separato resistente al rumore. Questo progresso soddisfa la crescente domanda di spiegazioni affidabili in campi critici come la medicina, dove i modelli visivi stanno guadagnando terreno. L'articolo è disponibile su arXiv, riferimento 2607.22544.
Fatti principali
- C-VCE è un framework di diffusione per spiegazioni visive controfattuali.
- Integra il classificatore nel modello generativo tramite un layer di bottleneck concettuale.
- Gli utenti possono attivare/disattivare concetti semantici durante il campionamento.
- Le modifiche sono minime e preservano il resto dell'immagine.
- Rispetta le correlazioni tra le caratteristiche.
- I metodi esistenti si basano su classificatori esterni che lavorano su immagini rumorose.
- C-VCE utilizza caratteristiche interpretabili dall'uomo (concetti) invece di modifiche a livello di pixel.
- L'approccio è rilevante per domini critici per la sicurezza come la medicina.
Entità
Istituzioni
- arXiv