FibQuant: Nuovo Quantizzatore Vettoriale per la Compressione della KV-Cache nell'IA

FibQuant è una tecnica innovativa progettata per alleviare i limiti di memoria nell'inferenza IA a lungo contesto comprimendo la cache chiave-valore (KV). Questa cache si espande con la lunghezza del contesto, la dimensione del batch, i livelli e le teste, e viene acceduta durante ogni passo di decodifica, causando notevoli vincoli di traffico di memoria. Gli attuali codec scalari basati su rotazione mantengono una norma, utilizzano una rotazione casuale condivisa e quantizzano una coordinata sequenzialmente, ma perdono informazioni geometriche durante la normalizzazione. Dopo una rotazione di Haar, una sequenza di k coordinate consecutive si trasforma in una sorgente Beta-sferica sulla palla unitaria. FibQuant funge da quantizzatore vettoriale universale a velocità fissa, preservando l'interfaccia normalizza-ruota-memorizza mentre sostituisce le tabelle scalari con un codebook angolare-radiale condiviso adattato a questa sorgente canonica. Questo codebook integra raggi quantili Beta, direzioni quasi uniformi di Fibonacci/Roberts–Kronecker e ottimizzazione Lloyd multi-riavvio. La ricerca è disponibile su arXiv con ID 2605.11478.