Score Broadcast e Decorrelation Framework per l'Assegnazione del Credito
Un nuovo articolo introduce Score Broadcast e Decorrelation (SBD), un framework per l'assegnazione del credito basata su broadcast in perdite differenziabili. L'approccio generalizza il framework Error Broadcast e Decorrelation (EBD), che era limitato a impostazioni di errore quadratico medio. SBD sfrutta un principio di ortogonalità tra lo score di output e le attivazioni degli strati nascosti, unificando l'assegnazione del credito attraverso famiglie standard di perdite differenziabili senza richiedere il trasporto dei pesi.
Fatti principali
- SBD è un framework per l'assegnazione del credito basata su broadcast.
- Generalizza il framework EBD oltre l'MSE.
- Il principio di ortogonalità richiede che lo score ottimale abbia media condizionale zero.
- L'articolo è su arXiv con ID 2605.30638.
- L'error broadcast è un'alternativa biologicamente plausibile alla backpropagation.
Entità
Istituzioni
- arXiv