Canali del Codebook Neurale: Un Nuovo Strumento Diagnostico per gli Spazi Latenti dei VAE
Un nuovo articolo su arXiv introduce il canale del codebook neurale, uno strumento diagnostico per gli autoencoder variazionali (VAE) che misura se il decodificatore interpreta correttamente i codici latenti secondo il codebook dell'encoder. Le diagnostiche standard dei VAE come ELBO, unità attive, informazione mutua e istogrammi dei codici confermano solo l'uso dei codici, non l'allineamento dei codici. Il metodo proposto, K_{e→d}(j|i), quantifica il disallineamento encoder-decodificatore con un certificato Bernoulli-KL limitato dal gap variazionale. Questo lavoro affronta una lacuna fondamentale nella valutazione dei VAE, con implicazioni per il clustering, la generazione condizionale e l'interpretabilità meccanicistica.
Fatti principali
- Titolo dell'articolo: 'Lost and Found in Translation: Variational Diagnostics for Neural Codebook Channels'
- Pubblicato su arXiv con ID 2605.18846
- Introduce il canale del codebook neurale K_{e→d}(j|i) per l'allineamento encoder-decodificatore
- Le diagnostiche standard dei VAE (ELBO, unità attive, informazione mutua, istogrammi dei codici) verificano solo l'uso dei codici, non l'allineamento
- Propone un certificato Bernoulli-KL d_bin(1-A || η_p) ≤ Δ controllato dal gap variazionale
- Affronta il disallineamento quando trasmettitore e ricevitore utilizzano codebook operativi incompatibili
- Rilevante per clustering, generazione condizionale e interpretabilità meccanicistica
- Il certificato indipendente dall'architettura limita la massa fuori diagonale del canale del codebook
Entità
Istituzioni
- arXiv