Nessuna Gaussiana Necessaria: Dinamica Inversa Contrastiva per i Modelli del Mondo JEPA
Un recente preprint su arXiv (2608.17542) introduce l'Action-Contrastive Masked Transition Modeling (AC-MTM), offrendo un nuovo approccio alle tipiche strategie anti-collasso nelle Joint-Embedding Predictive Architectures (JEPAs). LeWorldModel (LeWM) utilizza SIGReg per evitare il collasso dell'encoder assicurando che la distribuzione latente sia allineata con una gaussiana isotropica. Gli autori suggeriscono che i dati di transizione stessi possono fornire la necessaria pressione anti-collasso. AC-MTM mantiene l'obiettivo di previsione latente in avanti di LeWM, incorporando al contempo una testa di dinamica inversa solo per l'addestramento che utilizza Action-NCE. Questo componente richiede che ogni transizione latente identifichi l'azione corrispondente tra le altre nel batch, una sfida impossibile per un encoder collassato. Lo studio cita lavori precedenti di LeCun (2022), Assran et al. (2023) e Bardes et al. (2022, 2024).
Fatti principali
- Il paper arXiv:2608.17542 introduce l'Action-Contrastive Masked Transition Modeling (AC-MTM).
- AC-MTM è progettato per le Joint-Embedding Predictive Architectures (JEPAs).
- LeWorldModel (LeWM) usa SIGReg per prevenire il collasso dell'encoder, assicurando che la distribuzione latente corrisponda a una gaussiana isotropica.
- AC-MTM sostituisce la regolarizzazione gaussiana con la dinamica inversa contrastiva.
- Il metodo include una testa di dinamica inversa solo per l'addestramento, addestrata con Action-NCE.
- Ogni transizione latente deve identificare l'azione che l'ha prodotta tra le altre azioni.
- Un encoder collassato non può superare il compito di discriminazione.
- Fa riferimento a lavori precedenti di LeCun, Assran e Bardes.
Entità
Artisti
- Yann LeCun
- Assran
- Bardes
Istituzioni
- arXiv