Autoencoder Sparsi Rivelano l'Oblio a Livello di Concetti nell'Apprendimento Continuo
Un recente preprint su arXiv (2605.16374) presenta un framework diagnostico che utilizza Autoencoder Sparsi (SAE) per esaminare l'oblio catastrofico nell'apprendimento continuo supervisionato con maggiore dettaglio. I ricercatori considerano ciascun latente SAE come proxy per concetti che rappresentano pattern visivi ricorrenti, consentendo un'esplorazione dell'evoluzione interna delle informazioni specifiche del compito. Questo approccio supera le valutazioni basate sulle prestazioni convenzionali e le misure ampie di deriva rappresentazionale, fornendo una comprensione più profonda di cosa significhi l'oblio nello spazio di rappresentazione del modello visivo.
Fatti principali
- Preprint arXiv 2605.16374
- Propone un framework diagnostico che utilizza Autoencoder Sparsi (SAE)
- Definisce uno spazio di caratteristiche latenti ancorato al compito
- Tratta i latenti SAE come proxy di concetti
- Analizza l'oblio a una granularità più fine rispetto alle prestazioni a livello di compito
- Si concentra sullo spazio di rappresentazione interna dei modelli visivi
- Tipo di contenuto: nuova ricerca
- Affronta l'oblio catastrofico nell'apprendimento continuo
Entità
Istituzioni
- arXiv