Aggregazione Adattiva della Bontà su Scale Multiple Migliora l'Apprendimento Forward-Forward
Un team di ricercatori ha presentato l'Adaptive Multi-Scale Goodness Aggregation (AMSGA), un miglioramento innovativo dell'algoritmo Forward-Forward (FF) progettato per reti neurali con apprendimento locale. Questo nuovo approccio migliora stabilità, robustezza e generalizzazione integrando l'aggregazione della bontà su scale multiple a livello locale, intermedio e globale, impiegando un curriculum adattivo per il mining di esempi negativi difficili, soglie adattive specifiche per strato e un programma di apprendimento con riscaldamento e decadimento del coseno. Questi miglioramenti mantengono le caratteristiche di efficienza della memoria e plausibilità biologica del modello FF originale, superandone le limitazioni. I test su MNIST e Fashion-MNIST mostrano guadagni di prestazioni significativi rispetto all'algoritmo FF di base, con miglioramenti fino a +1,45% su MNIST e +1,50% su Fashion-MNIST, senza costi computazionali notevoli. I risultati sono pubblicati in arXiv:2605.18804.
Fatti principali
- AMSGA estende l'algoritmo Forward-Forward (FF) per reti neurali con apprendimento locale.
- Introduce l'aggregazione della bontà su scale multiple attraverso rappresentazioni locali, intermedie e globali.
- Include mining adattivo di esempi negativi difficili basato su curriculum.
- Utilizza soglie adattive dipendenti dallo strato.
- Adotta un programma di apprendimento con riscaldamento e decadimento del coseno.
- Preserva le proprietà di plausibilità biologica ed efficienza della memoria.
- Raggiunge un miglioramento fino a +1,45% su MNIST e +1,50% su Fashion-MNIST.
- Nessun overhead computazionale significativo riportato.
Entità
Istituzioni
- arXiv