Pretraining MXFP4 su Hardware FP4 Nativo: La Quantizzazione di Wgrad è Chiave per la Convergenza

Un recente articolo su arXiv (2605.09825v4) esplora le ragioni alla base della divergenza osservata nell'addestramento FP4 completo di modelli linguistici di grandi dimensioni, anche quando le attivazioni forward e i gradienti di attivazione rimangono stabili. Questa ricerca, presentata come annuncio replace-cross, implementa sistematicamente la quantizzazione MXFP4 su vari componenti dell'addestramento dei transformer—propagazione in avanti (Fprop), gradienti di attivazione (Dgrad) e gradienti di peso (Wgrad)—controllando altre variabili. Nel pretraining completo di Llama 3.1-8B utilizzando il dataset C4, gli autori identificano la quantizzazione di Wgrad come il principale fattore che porta a problemi di convergenza, mentre la quantizzazione di Fprop e Dgrad aumenta solo leggermente la richiesta di token. La loro valutazione di metodi strutturati e stocastici rivela che, mentre l'arrotondamento stocastico e le rotazioni di Hadamard randomizzate non stabilizzano l'addestramento dopo la quantizzazione di Wgrad, le rotazioni di Hadamard deterministiche ripristinano con successo la convergenza. Questo studio fa luce sulle complessità dell'addestramento a bassa precisione e propone un approccio praticabile per un efficace pretraining FP4 su hardware nativo.