Normalizzazioni di Retrazione su Ipersfere Unificano le Connessioni Residue e GeoNorm
Una recente pubblicazione su arXiv (2608.02668) presenta un quadro completo per interpretare le connessioni residue nelle reti neurali profonde attraverso la geometria riemanniana. I ricercatori rivelano che l'insieme delle mappe di retrazione su un'ipersfera si semplifica in una singola scelta scalare di design, che determina la trasformazione della magnitudine di un aggiornamento in un angolo di rotazione. Questo quadro unifica le connessioni residue euclidee con la Normalizzazione Geodetica (GeoNorm) all'interno dello stesso quadro teorico. Applicando la proiezione metrica e le retrazioni di Cayley, gli autori introducono Proj-Sphere, una nuova tecnica di normalizzazione. Questo lavoro è classificato come un cross-announcement ed è accessibile su arXiv.
Fatti principali
- Titolo del paper: 'Sphere Retraction Normalizations'
- ID arXiv: 2608.02668
- Tipo di annuncio: cross
- GeoNorm riformula le connessioni residue su una varietà riemanniana
- GeoNorm ortogonalizza l'output di ogni strato rispetto allo stato nascosto corrente
- L'aggiornamento viene applicato tramite la mappa esponenziale riemanniana
- Ogni stato nascosto mantiene una norma l2 costante, confinando il flusso residuo a un'ipersfera
- La mappa esponenziale è un membro di un'ampia famiglia di mappe di retrazione
- Sull'ipersfera, l'intera famiglia si riduce a una singola scelta scalare di design
- La distinzione tra le retrazioni è come la magnitudine dell'aggiornamento viene convertita in un angolo di rotazione
- Il quadro unifica le connessioni residue euclidee e GeoNorm
- Le istanziazioni con proiezione metrica e retrazioni di Cayley producono Proj-Sphere
Entità
Istituzioni
- arXiv