Modalità di Fallimento del QAT HiF8 W8A8 in OpenPangu-Embedded-1B
Uno studio sul quantization-aware training (QAT) con HiF8 W8A8 per OpenPangu-Embedded-1B rivela due modalità di fallimento ortogonali: saturazione di amax a causa di stime di scala ritardate che provocano clipping nel forward pass, e dimenticanza catastrofica dovuta a tassi di apprendimento aggressivi. Nessuna delle due è rilevabile tramite la loss di training. Gli autori propongono un algoritmo DTS massimo conservativo su una finestra di 64 passi per la saturazione di amax e un warmup BF16 di 500 passi con lr=10^{-5} per la dimenticanza. Entrambe le correzioni sono necessarie e sufficienti.
Fatti principali
- arXiv:2605.26189v1
- QAT HiF8 W8A8 per OpenPangu-Embedded-1B
- Utilizzo del Delayed Tensor Scaling (DTS)
- Due modalità di fallimento: saturazione di amax e dimenticanza catastrofica
- Saturazione di amax causata da stime di scala ritardate
- Dimenticanza catastrofica dovuta a tasso di apprendimento aggressivo
- Proposto algoritmo DTS massimo conservativo su finestra di 64 passi
- Proposto warmup BF16 di 500 passi con lr=10^{-5}
Entità
Istituzioni
- arXiv