I Modelli JEPA Rivelati come Modelli di Markov Nascosti in un Nuovo Articolo su arXiv
Uno studio recente pubblicato su arXiv esamina la relazione tra le Architetture Predittive a Incorporamento Congiunto (JEPA) e i modelli di Markov nascosti (HMM). I ricercatori rivelano che il VJEPA a Collo di Bottiglia Informativo Predittivo (PIB-VJEPA) condivide una struttura computazionale con gli HMM, che include l'inferenza dello stato nascosto e le transizioni della catena di Markov. Identificano quattro livelli di corrispondenza e stabiliscono criteri specifici per l'equivalenza HMM in contesti sequenziali. Inoltre, gli autori propongono un nuovo modello chiamato JEPA a Catena di Markov (MCJEPA), che incorpora una matrice di transizione per diverse applicazioni. Questa ricerca potrebbe avere un impatto significativo sugli sviluppi futuri nel campo dell'apprendimento di rappresentazioni.
Fatti principali
- Articolo su arXiv con ID 2608.13621
- Titolo: 'Il tuo JEPA probabilistico è segretamente un modello di Markov nascosto: un'interpretazione dello spazio degli stati dell'apprendimento predittivo a incorporamento congiunto'
- Mostra che PIB-VJEPA ha la stessa struttura computazionale degli HMM
- L'encoder di contesto stocastico come distribuzione di filtraggio ammortizzata
- Il predittore probabilistico definisce la dinamica dello stato latente
- Il decoder, l'encoder target inverso o l'implicito condizionale indotto fornisce l'emissione
- Distinti quattro livelli di corrispondenza
- Introduce MCJEPA con matrice di transizione appresa
- Le potenze della matrice garantiscono la coerenza di Chapman-Kolmogorov nel caso finito omogeneo nel tempo
Entità
Istituzioni
- arXiv