AEN-SAE: Risolvere la Fame di Caratteristiche negli Autoencoder Sparsi
Un nuovo articolo su arXiv (2605.05341) sostiene che la fame di caratteristiche negli autoencoder sparsi (SAE) è una patologia geometrica fondamentale, non solo un problema di diversità dei dati. I SAE standard con regolarizzazione ℓ1 soffrono di neuroni morti e bias di contrazione, richiedendo costose soluzioni euristiche. Gli autori propongono gli AEN-SAE (adaptive elastic net SAE), un'architettura completamente differenziabile che combina un termine ℓ2 per una forte convessità, affrontando l'instabilità delle mappe di codifica sparsa indotte da ℓ1 in dizionari sovracompleti.
Fatti principali
- Articolo su arXiv: 2605.05341
- Titolo: Feature Starvation as Geometric Instability in Sparse Autoencoders
- I SAE sono usati per separare le rappresentazioni dei LLM in concetti monosemantici
- I SAE standard con regolarizzazione ℓ1 soffrono di fame di caratteristiche e bias di contrazione
- La fame di caratteristiche è considerata una patologia geometrica fondamentale dell'ottimizzazione
- Gli AEN-SAE combinano regolarizzazione ℓ1 e ℓ2 per una forte convessità
- Gli AEN-SAE sono completamente differenziabili e basati sulla regressione sparsa classica
Entità
Istituzioni
- arXiv