Algoritmo di Ricostruzione dei Parametri per l'Addestramento di Reti Neurali a Spike
Un nuovo algoritmo per l'addestramento di Reti Neurali a Spike (SNN) raggiunge soluzioni globalmente ottimali ricostruendo i parametri, superando i limiti dei metodi del gradiente surrogato. L'approccio estende la teoria della convessificazione dalle reti parallele feedforward alle reti parallele ricorrenti a soglia, che includono le SNN come caso speciale. Il metodo di ricostruzione dei parametri mostra vantaggi consistenti in vari compiti, sia da solo che combinato con l'addestramento a gradiente surrogato. Studi di ablazione dimostrano scalabilità dei dati e robustezza alle configurazioni del modello. La ricerca è pubblicata su arXiv (2605.08022).
Fatti principali
- Le Reti Neurali a Spike (SNN) sono alternative biologicamente plausibili ed energeticamente efficienti alle ANN convenzionali.
- L'addestramento delle SNN si basa tipicamente su gradienti surrogati a causa delle funzioni di spike non differenziabili.
- I gradienti surrogati introducono errori di approssimazione che si accumulano attraverso i livelli.
- Il lavoro estende la convessificazione delle reti parallele feedforward a soglia alle reti parallele ricorrenti a soglia.
- Le reti parallele ricorrenti a soglia includono le SNN parallele come caso speciale strutturato.
- Viene proposto un algoritmo di ricostruzione dei parametri per l'addestramento delle SNN.
- L'algoritmo dimostra vantaggi in vari compiti come metodo autonomo e in combinazione con l'addestramento a gradiente surrogato.
- Gli studi di ablazione mostrano scalabilità dei dati e robustezza alle configurazioni del modello.
Entità
Istituzioni
- arXiv