Apprendimento Scalabile in Reti Neurali Spike Ricorrenti senza Retropropagazione
Un recente articolo su arXiv introduce un'architettura di rete neurale spike ricorrente (SNN) multistrato progettata per l'apprendimento supervisionato scalabile senza fare affidamento sulla retropropagazione o gradienti surrogati. Questa struttura presenta strati ricorrenti localmente densi potenziati da proiezioni a lungo raggio sparse verso una popolazione di lettura. Per mantenere l'efficienza del routing e la scalabilità hardware, le connessioni a lungo raggio rimangono per lo più fisse, mentre l'adattamento sinaptico impiega meccanismi di plasticità locale. Il framework di apprendimento integra segnali di insegnamento winner-take-all basati sulla popolazione dello strato di output, percorsi di feedback di allineamento broadcast casuali fissi e neuroni modulatori a bassa dimensionalità. Questo metodo innovativo affronta il problema dell'apprendimento scalabile in SNN ricorrenti profonde con connessioni sparse, fornendo un'alternativa biologicamente ispirata alla retropropagazione.
Fatti principali
- Articolo pubblicato su arXiv con ID 2605.00402
- Propone un'architettura SNN ricorrente multistrato strutturata
- Utilizza strati ricorrenti localmente densi con proiezioni sparse a lungo raggio di tipo small-world
- La connettività a lungo raggio è in gran parte fissa
- L'adattamento sinaptico utilizza meccanismi di plasticità strettamente locali
- Il framework di apprendimento include segnali di insegnamento winner-take-all
- Utilizza percorsi di feedback di allineamento broadcast casuali fissi
- Include neuroni modulatori a bassa dimensionalità
Entità
Istituzioni
- arXiv