Degradazione della Quantizzazione nei LLM: Una Prospettiva Segnale-Rumore

Un recente articolo su arXiv (2608.08188) esplora l'impatto della quantizzazione post-addestramento sui modelli linguistici di grandi dimensioni (LLM), indicando che il declino delle prestazioni non è esclusivamente legato alla larghezza di bit. La ricerca analizza metodicamente la quantizzazione solo-pesi attraverso varie famiglie di modelli, diverse larghezze di bit, tecniche di quantizzazione, dimensioni del modello e compiti a valle. Risultati significativi indicano che la quantizzazione a 4 bit generalmente mantiene le prestazioni, mentre quella a 2 bit spesso porta a un'ampia degradazione. A 3 bit, il declino delle prestazioni è evidente ma varia notevolmente a seconda del tipo di compito, dell'approccio di quantizzazione e della dimensione del modello. Per chiarire questa variabilità, gli autori propongono un quadro basato sul rapporto segnale-rumore (SNR) per valutare come la quantizzazione perturbi le rappresentazioni a piena precisione. Identificano due processi interconnessi responsabili della degradazione: la creazione di errori di quantizzazione nei singoli moduli e la loro accumulazione attraverso i livelli. Una decomposizione dell'SNR mostra che gli errori appena introdotti sono i fattori principali, mentre l'accumulo di errori attraverso i livelli segue un modello coerente. Questo articolo pone le basi teoriche per comprendere perché diverse configurazioni producano risultati variabili, fornendo preziose intuizioni per migliorare le strategie di quantizzazione nelle applicazioni degli LLM.