L'Allineamento del Feedback non Scala alle Reti Convoluzionali
Uno studio recente indaga cinque algoritmi di apprendimento, tra cui l'allineamento del feedback modificato (FA) e la retropropagazione tradizionale (BP), utilizzando il dataset CIFAR-10 sulla stessa architettura convoluzionale. Questa ricerca presenta un'analisi comparativa in tre parti che enfatizza la plausibilità biologica, l'interpretabilità e la complessità computazionale. I risultati rivelano che gli algoritmi FA modificati ottengono rappresentazioni interne molto simili a quelle generate dalla BP, suggerendo che la loro efficacia potrebbe derivare dalla replica della geometria rappresentazionale della BP. Tuttavia, la FA fatica ad adattarsi alle architetture convoluzionali a meno che non vengano apportate modifiche che compromettono la plausibilità biologica. L'articolo è disponibile su arXiv con l'identificatore 2605.08564.
Fatti principali
- L'allineamento del feedback non scala alle architetture convoluzionali.
- Valutati cinque algoritmi di apprendimento, tra cui FA modificato e BP standard.
- Utilizzato il dataset CIFAR-10 per l'addestramento.
- L'analisi copre plausibilità biologica, interpretabilità e complessità computazionale.
- Gli algoritmi FA modificati convergono su rappresentazioni simili alla retropropagazione.
- Il successo funzionale del FA modificato potrebbe essere dovuto all'imitazione della geometria rappresentazionale della BP.
- Le modifiche al FA hanno un costo discutibile per la plausibilità biologica.
- Articolo disponibile su arXiv: 2605.08564.
Entità
Istituzioni
- arXiv