MX-SAFE: Nuovo formato di microscaling per deep learning efficiente
C'è un nuovo formato chiamato MX-SAFE (MXSF) progettato per migliorare l'efficienza dei costi nel deep learning attraverso la quantizzazione. Si basa sullo standard MX creato dall'Open Compute Project (OCP) nel 2022. MX-SAFE offre due modalità regolabili: una con mantissa più ampia (FP8 E2M5) e un'altra per numeri floating point subnormali (FP5 E3M2). Questa versatilità supporta sia l'addestramento che l'inferenza a cast diretto, rispondendo alla necessità di calcolo efficiente nei compiti di IA.
Fatti principali
- MX-SAFE è un formato di microscaling per la quantizzazione nel deep learning.
- Si basa sul formato MX standardizzato da OCP nel 2022.
- MX-SAFE utilizza due modalità: FP8 E2M5 e FP5 E3M2.
- Supporta sia l'addestramento che l'inferenza a cast diretto.
- Il formato mira a ridurre la dimensione dei dati e i costi.
- Il formato MX condivide un esponente a 8 bit tra più operandi.
- MXINT si concentra sull'alta precisione; MXFP su una gamma dinamica più ampia.
- MX-SAFE è un formato MXFP versatile.
Entità
Istituzioni
- Open Compute Project