Le reti di codifica predittiva eguagliano la retropropagazione nei limiti infiniti
Un recente articolo di ricerca da arXiv (2602.07697v2) rivela che le reti di codifica predittiva (PC), che fungono da sostituto biologicamente plausibile della retropropagazione (BP), possono produrre calcoli del gradiente equivalenti in determinate circostanze. Per le reti lineari residue, le parametrizzazioni che mantengono la stabilità sia in larghezza che in profondità sono coerenti sia per PC che per BP. Quando la larghezza del modello supera significativamente la sua profondità, l'energia di PC, con attività bilanciate, si allinea con la perdita quadratica di BP. I risultati sperimentali indicano che il raggiungimento dell'equilibrio dell'attività consente a PC di calcolare gradienti identici a quelli di BP, affrontando così problemi relativi alla scalabilità e alle discrepanze teoriche.
Fatti principali
- La codifica predittiva è un'alternativa biologicamente plausibile alla retropropagazione.
- PC minimizza una funzione energetica rispetto alle attività della rete prima di aggiornare i pesi.
- Lavori recenti hanno migliorato la stabilità dell'addestramento delle reti PC profonde utilizzando riparametrizzazioni ispirate a BP.
- Lo studio esamina i limiti di larghezza e profondità infinite delle PCN.
- Per le reti lineari residue, le parametrizzazioni stabili in larghezza e profondità sono identiche per PC e BP.
- L'energia di PC converge alla perdita quadratica di BP quando la larghezza è molto maggiore della profondità.
- Gli esperimenti mostrano che PC calcola gli stessi gradienti di BP quando viene raggiunto l'equilibrio dell'attività.
- L'articolo è disponibile su arXiv con ID 2602.07697.
Entità
Istituzioni
- arXiv