Algoritmo Forward-Forward Ip sferico Aumenta la Velocità di 40x
L'algoritmo Hyperspherical Forward-Forward (HFF) è stato presentato dai ricercatori come una nuova versione dell'algoritmo Forward-Forward (FF), affrontando il suo costoso processo di inferenza. Il tradizionale algoritmo FF richiedeva un passaggio in avanti individuale per ogni classe durante l'inferenza, portando a inefficienza. Al contrario, HFF trasforma l'obiettivo locale di ogni strato da una sfida binaria di bontà di adattamento a un compito di classificazione multi-classe all'interno di uno spazio delle caratteristiche ipersferico. Sviluppa prototipi specifici per classe con norma unitaria che fungono da ancore geometriche e negativi impliciti. Questo avanzamento mantiene i vantaggi dell'addestramento locale consentendo aggiornamenti dei pesi e inferenza in un singolo passaggio in avanti, risultando in un miglioramento della velocità di oltre 40x rispetto all'algoritmo FF originale. Il metodo è facile da implementare e scalabile, con la ricerca pubblicata su arXiv con identificatore 2605.00082.
Fatti principali
- HFF riformula l'algoritmo Forward-Forward.
- L'FF originale richiedeva un passaggio in avanti separato per classe durante l'inferenza.
- HFF utilizza uno spazio delle caratteristiche ipersferico per la classificazione multi-classe.
- Prototipi specifici per classe fungono da ancore geometriche.
- HFF consente aggiornamento dei pesi e inferenza in un singolo passaggio.
- Il miglioramento della velocità è superiore a 40x rispetto all'FF originale.
- Il metodo è semplice da implementare e scalabile.
- Pubblicato su arXiv con ID 2605.00082.
Entità
Istituzioni
- arXiv