Polar Express: Un Nuovo Algoritmo GPU-Friendly per la Decomposizione Polare nel Deep Learning
È stata sviluppata una nuova tecnica chiamata Polar Express per calcolare la decomposizione polare e la funzione segno di matrice, specificamente progettata per l'addestramento del deep learning accelerato da GPU. A differenza dei metodi numerici tradizionali che enfatizzano la precisione, Polar Express dà priorità all'alto throughput utilizzando esclusivamente moltiplicazioni matrice-matrice, migliorando l'efficienza sulle GPU. L'algoritmo modifica la sua regola di aggiornamento a ogni iterazione risolvendo una sfida di ottimizzazione minimax, traendo ispirazione da precedenti ricerche di Chen & Chow e Nakatsukasa & Freund. Questo approccio minimizza efficacemente l'errore nello scenario peggiore, facilitando una rapida convergenza. Polar Express funge da subroutine cruciale all'interno dell'ottimizzatore Muon per l'addestramento di reti neurali profonde, rispondendo alle esigenze specifiche delle attività di deep learning.
Fatti principali
- Polar Express è un nuovo metodo per calcolare la decomposizione polare e la funzione segno di matrice.
- È progettato per il deep learning GPU-friendly, dando priorità all'alto throughput rispetto all'alta precisione.
- L'algoritmo utilizza solo moltiplicazioni matrice-matrice, simile a Newton-Schulz e altri metodi polinomiali.
- Adatta la regola di aggiornamento a ogni iterazione risolvendo un problema di ottimizzazione minimax.
- Il metodo è ispirato ai lavori precedenti di Chen & Chow e Nakatsukasa & Freund.
- Polar Express è dimostrato minimizzare l'errore in senso worst-case.
- Converge rapidamente ed è utilizzato all'interno dell'ottimizzatore Muon per l'addestramento di reti neurali profonde.
- L'approccio risponde ai requisiti distinti del deep learning rispetto ai contesti classici.
Entità
—