Quantizzazione della Cache KV come Codifica di Trasformazione con Trasformate che Preservano l'Attenzione

Un recente articolo pubblicato su arXiv introduce una tecnica per quantizzare la cache chiave-valore (KV) durante il processo di decodifica di modelli linguistici di grandi dimensioni (LLM) a contesto lungo, affrontando le sfide associate alle limitazioni di larghezza di banda nel caricamento della cache. Gli autori presentano la quantizzazione della cache KV come un problema di codifica di trasformazione, dove l'obiettivo è mantenere l'integrità del prodotto di attenzione. Criticano i metodi attuali che utilizzano trasformate ortogonali, come le rotazioni casuali o di Hadamard, per essere meno efficaci a causa della loro attenzione a equalizzare le varianze piuttosto che concentrare l'energia, e la loro dipendenza da quantizzatori scalari a larghezza fissa che risultano insufficienti a bassi bit rate. Il loro approccio innovativo deriva trasformate basate su un criterio di distorsione, cercando di minimizzare la dimensione della cache mantenendo l'accuratezza dell'attenzione con un numero di bit costante per token. A due bit per elemento, questo metodo mira a superare sia le tecniche oblivious ai dati che quelle basate su statistiche delle query. L'articolo è disponibile su arXiv con l'identificatore 2608.04074.