Metodo di Apprendimento Continuo Senza Gradiente Sviluppato per Reti Neurali a Spiking
È stata proposta una nuova metrica di importanza sinaptica senza gradiente chiamata ISI-CV per l'apprendimento continuo nelle reti neurali a spiking. Questo approccio affronta una limitazione chiave dei metodi esistenti come Elastic Weight Consolidation e Synaptic Intelligence, che dipendono dal calcolo del gradiente e sono incompatibili con l'hardware neuromorfico privo di supporto per la retropropagazione. Il metodo analizza il Coefficiente di Variazione degli Intervalli Inter-Spike per identificare neuroni con pattern di attivazione regolari che codificano caratteristiche stabili e rilevanti per il compito. Questi neuroni sono protetti dalla sovrascrittura durante l'acquisizione di nuovi compiti, mentre i neuroni con pattern di attivazione irregolari possono adattarsi liberamente. La tecnica richiede solo contatori del tempo degli spike e aritmetica intera, operazioni native di tutti i chip neuromorfici. Questo sviluppo consente alle reti neurali a spiking di acquisire nuovi compiti in sequenza senza dimenticare le conoscenze precedenti, una capacità essenziale per il dispiegamento in ambienti reali dinamici, inclusi il monitoraggio di gemelli digitali nucleari e il rilevamento di guasti ai margini della rete. La ricerca è stata pubblicata su arXiv con identificatore 2604.16496v1.
Fatti principali
- ISI-CV è la prima metrica di importanza sinaptica senza gradiente per l'apprendimento continuo nelle SNN
- Il metodo utilizza il Coefficiente di Variazione degli Intervalli Inter-Spike per identificare neuroni importanti
- I neuroni con pattern di attivazione regolari sono protetti dalla sovrascrittura
- I neuroni con pattern di attivazione irregolari possono adattarsi liberamente
- La tecnica richiede solo contatori del tempo degli spike e aritmetica intera
- Tutte le operazioni richieste sono native di ogni chip neuromorfico
- I metodi esistenti come EWC e SI si basano sul calcolo del gradiente
- L'apprendimento continuo consente alle reti neurali di acquisire nuovi compiti senza dimenticare le conoscenze precedenti
Entità
Istituzioni
- arXiv