Nuovo Algoritmo Potenzia l'Addestramento Diretto delle Reti Neurali Spike
I ricercatori propongono un nuovo algoritmo di addestramento diretto per le Reti Neurali Spike (SNN) per colmare il divario prestazionale con le Reti Neurali Artificiali (ANN). L'algoritmo introduce tre innovazioni: un modello di neurone spike a fuoco circolante che migliora la rappresentazione delle informazioni utilizzando meglio i potenziali di membrana; una funzione gradiente surrogato apprendibile passo-passo per una stima accurata del gradiente durante la retropropagazione; e una funzione di perdita bilanciata positiva-negativa. Il lavoro affronta i limiti chiave dei neuroni spike convenzionali e dei gradienti surrogati fissi, con l'obiettivo di migliorare l'efficienza energetica e le prestazioni delle SNN. L'articolo è disponibile su arXiv con riferimento 2605.27412.
Fatti principali
- Le Reti Neurali Spike (SNN) sono efficienti dal punto di vista energetico ma hanno prestazioni inferiori rispetto alle Reti Neurali Artificiali (ANN).
- I neuroni spike convenzionali hanno una capacità di rappresentazione delle informazioni limitata.
- Le funzioni gradiente surrogato fisse attraverso i passi temporali causano una propagazione imprecisa del gradiente.
- L'algoritmo proposto include un modello di neurone spike a fuoco circolante.
- Viene introdotta una funzione gradiente surrogato apprendibile passo-passo.
- Una funzione di perdita bilanciata positiva-negativa fa parte dell'algoritmo.
- L'articolo è su arXiv con ID 2605.27412.
- L'algoritmo mira a migliorare l'addestramento diretto delle SNN.
Entità
Istituzioni
- arXiv