Addestramento SNN senza gradienti tramite strategie evolutive a basso rango
È stato introdotto un nuovo metodo per addestrare reti neurali a impulsi (SNN) senza gradienti, utilizzando una fattorizzazione a basso rango delle perturbazioni delle strategie evolutive (ES) chiamata EGGROLL. Le SNN sono efficienti dal punto di vista energetico su hardware neuromorfico, ma sono difficili da addestrare a causa della soglia di spike non differenziabile. I metodi surrogate-gradient richiedono retropropagazione, incompatibile con l'apprendimento on-chip. Le ES offrono un'alternativa senza gradienti, ma scalano male con il numero di parametri. EGGROLL riduce la memoria per generazione da O(mn) a O(r(m+n)). Testato su una SNN Leaky Integrate-and-Fire con il dataset N-MNIST, ha raggiunto un'accuratezza del 79,21% e ha ridotto il tempo di esecuzione di 2,23x rispetto alle ES a rango pieno. L'articolo è disponibile su arXiv.
Fatti principali
- Il metodo chiamato EGGROLL utilizza la fattorizzazione a basso rango delle perturbazioni ES
- Riduce la memoria da O(mn) a O(r(m+n))
- Ha raggiunto un'accuratezza del 79,21% su N-MNIST
- Tempo di esecuzione ridotto di 2,23x rispetto alle ES a rango pieno
- Addestrata una SNN Leaky Integrate-and-Fire
- Approccio senza gradienti compatibile con l'apprendimento on-chip
- Affronta la soglia di spike non differenziabile nelle SNN
- Pubblicato su arXiv con ID 2605.30361
Entità
Istituzioni
- arXiv