Reti di Codifica Predittiva Potenziate con Filtri Gaussiani Gerarchici
Un recente studio pubblicato su arXiv (2605.20293) introduce la codifica predittiva in forma chiusa utilizzando filtri gaussiani gerarchici (HGF). I tradizionali framework di codifica predittiva spesso impostano la matrice di precisione sull'identità, trascurando gli errori di previsione pesati per precisione essenziali per un apprendimento bayesiano efficiente, localizzato. Modellando le reti come HGF profondi e ripristinando il passaggio di messaggi pesato per precisione, questa tecnica fornisce valutazioni dinamiche dell'incertezza e meccanismi di aggiornamento compatibili con Hebb a ogni strato. Le reti apprendono simultaneamente attivazioni, pesi e precisioni attraverso un obiettivo unificato di energia libera, eliminando la necessità di segnali di errore globali e bypassando iterazioni o differenziazione automatica. Questo metodo affronta il declino delle prestazioni osservato nelle reti profonde e presenta un'alternativa biologicamente ispirata alla retropropagazione.
Fatti principali
- L'articolo arXiv:2605.20293 propone la codifica predittiva in forma chiusa tramite filtri gaussiani gerarchici.
- Le attuali reti PC fissano la matrice di precisione sull'identità, scartando gli errori di previsione pesati per precisione.
- Il nuovo metodo esprime le reti PC come filtri gaussiani gerarchici profondi (HGF).
- Ripristina il passaggio di messaggi pesato per precisione per stime dinamiche dell'incertezza.
- Produce regole di aggiornamento compatibili con Hebb a ogni strato.
- Le reti apprendono attivazioni, pesi e precisioni sotto un unico obiettivo di energia libera.
- Nessun segnale di errore globale richiesto; risolve l'inferenza senza iterazioni o differenziazione automatica.
- Affronta il rallentamento dell'addestramento e il degrado delle prestazioni nelle reti profonde.
Entità
Istituzioni
- arXiv