Le Reti Forward-Forward Soffrono di Free-Riding tra Strati, Trovati Rimedi
Un nuovo articolo su arXiv (2605.06240) identifica e affronta un difetto nelle varianti a bontà cumulativa delle reti neurali Forward-Forward (FF). Gli autori formalizzano il 'free-riding tra strati', dove gli strati successivi ereditano compiti parzialmente separati dagli strati precedenti, causando un decadimento esponenziale del gradiente di discriminazione delle classi all'aumentare del margine positivo accumulato. Propongono tre rimedi locali—per blocco, a soglia di difficoltà e scalato per profondità—che recuperano la separazione senza gradienti retropropagati. Su CIFAR-10 e CIFAR-100, queste correzioni migliorano le statistiche di separazione tra strati di un fattore da 4× a 45× negli strati più profondi, mentre l'accuratezza varia di meno di un punto percentuale per addestramento non degenere. Tiny ImageNet fornisce una verifica incrociata su dataset. Il lavoro suggerisce che il free-riding è reale e riparabile, ma non dominante per l'accuratezza.
Fatti principali
- 1. L'addestramento Forward-Forward (FF) utilizza un criterio di bontà locale per strato.
- 2. Le varianti a bontà cumulativa causano free-riding tra strati.
- 3. Il gradiente decade esponenzialmente con il margine positivo dai blocchi precedenti.
- 4. Tre rimedi locali: per blocco, a soglia di difficoltà, scalato per profondità.
- 5. CIFAR-10 e CIFAR-100 mostrano guadagni da 4× a 45× negli strati più profondi.
- 6. L'accuratezza varia di meno di un punto percentuale.
- 7. Tiny ImageNet utilizzato come verifica incrociata su dataset.
- 8. Articolo disponibile su arXiv:2605.06240.
Entità
Istituzioni
- arXiv