Multi-Scale Dequant: Nuovo Metodo di Inferenza LLM Elimina il Collo di Bottiglia della Dequantizzazione

Una recente pubblicazione su arXiv (2605.13915) presenta Multi-Scale Dequant (MSD), un metodo di quantizzazione volto ad affrontare il collo di bottiglia della dequantizzazione durante l'inferenza dei modelli linguistici di grandi dimensioni (LLM). Negli acceleratori AI contemporanei con unità di calcolo separate, come gli Ascend NPU, le operazioni di dequantizzazione possono richiedere più tempo della moltiplicazione di matrici, portando a un sottoutilizzo dei tensor core. MSD allevia il percorso critico GEMM scomponendo le attivazioni BF16 ad alta precisione in diverse parti a bassa precisione, che vengono poi moltiplicate direttamente con i pesi quantizzati utilizzando GEMM nativo accelerato dall'hardware. Questo approccio sposta il focus computazionale dalla conversione di precisione all'approssimazione multiscala, minimizzando così i carichi I/O e computazionali associati alla dequantizzazione, migliorando infine l'efficienza dell'inferenza LLM su hardware specializzato.