Studio di Ricerca Propone Architettura Ibrida di Rete Neurale Senza Backpropagation End-to-End
Un nuovo studio di ricerca introduce un framework modulare per il riconoscimento visivo che sfida i tipici metodi di deep learning. Questo modello innovativo utilizza una decomposizione Gabor multi-frequenza fissa su sette flussi paralleli e incorpora tecniche di apprendimento competitivo, inclusi gli aggiornamenti di Hebb e Oja, più la decorrelazione anti-Hebbiana. Inoltre, presenta un modulo di memoria associativa ispirato al recupero moderno di Hopfield, utilizzando segnali locali di predizione e ricostruzione. Gli strati rappresentazionali vengono addestrati senza backpropagation end-to-end completa, concentrandosi solo sulle matrici di lettura lineare finale e di proiezione top-down attraverso la discesa del gradiente. Gli autori lo considerano un approccio ibrido addestrato principalmente localmente con un numero ridotto di parametri addestrati con gradiente. I test iniziali hanno utilizzato il dataset CIFAR-10, e lo studio è disponibile su arXiv con l'identificatore 2604.09734v1.
Fatti principali
- Lo studio introduce un framework gerarchico modulare per il riconoscimento visivo
- Il modello utilizza una decomposizione Gabor multi-frequenza fissa in F=7 flussi paralleli
- L'apprendimento competitivo intra-flusso impiega aggiornamenti di Hebb e Oja con decorrelazione anti-Hebbiana
- Un modulo di memoria associativa è ispirato al recupero moderno di Hopfield
- La modulazione top-down iterativa utilizza segnali locali di predizione e ricostruzione
- Gli strati rappresentazionali vengono addestrati senza backpropagation end-to-end attraverso l'intera gerarchia
- Solo la lettura lineare finale e le matrici di proiezione top-down vengono ottimizzate con discesa del gradiente
- Il modello viene interpretato come un sistema ibrido con addestramento prevalentemente locale
Entità
Istituzioni
- arXiv