TreeProp: un nuovo algoritmo di apprendimento per reti neurali profonde con complessità temporale O(log N)

Una recente pubblicazione su arXiv (2606.21497) presenta TreeProp, un framework di apprendimento variazionale indipendente dall'architettura che organizza i livelli della rete in una gerarchia ad albero. Questa struttura facilita l'addestramento parallelo del modello, affrontando i limiti della natura sequenziale della tradizionale retropropagazione dell'errore. Sostituendo i calcoli sequenziali con quelli gerarchici, TreeProp raggiunge una complessità temporale di O(log N) per reti composte da N livelli. Gli autori affermano che questo rappresenta il primo algoritmo di apprendimento per reti neurali profonde con tale efficienza, potenzialmente accelerando il processo di addestramento per modelli più complessi. L'articolo funge anche da annuncio replace-cross, indicando un aggiornamento. Questa ricerca è significativa per l'IA e l'apprendimento automatico, in particolare per quanto riguarda l'efficienza dell'addestramento e la scalabilità.