WitCert: Monitoraggio del Rischio in Tempo Reale per la Quantizzazione della Cache KV
Un nuovo articolo su arXiv, identificato come 2607.28699, introduce un sistema chiamato WitCert, volto a migliorare il monitoraggio e il controllo in tempo reale del processo di quantizzazione nelle cache KV per modelli linguistici di grandi dimensioni. A differenza degli approcci convenzionali che dipendono da benchmark medi di test precedenti, WitCert consente ai sistemi di rilevare problemi immediati di compressione per richieste specifiche mentre si verificano. Questo sistema agisce come un 'DTrace per la quantizzazione KV', offrendo un misuratore in tempo reale che stabilisce limiti sulle differenze tra attenzione precisa e compressa attraverso vari livelli, teste e passi. Include due componenti: un limite di norma deterministico per qualsiasi quantizzatore che supporti la cache e un certificato probabilistico più preciso per uno specifico quantizzatore INT8. Questo sviluppo è cruciale per garantire l'affidabilità dell'IA in applicazioni del mondo reale.
Fatti principali
- L'articolo arXiv:2607.28699 introduce WitCert, un sistema di osservabilità e gating in tempo reale per la quantizzazione della cache KV.
- WitCert fornisce un misuratore in tempo reale dimostrabilmente valido che calcola limiti superiori sulla variazione totale tra attenzione esatta e compressa.
- Il misuratore ha due livelli: un limite deterministico di norma e un certificato probabilistico per il quantizzatore INT8 con dithering sottrattivo.
- I teoremi fondamentali sono verificati meccanicamente in Lean 4.
- Il misuratore si integra con SGLang tramite una patch protetta dall'ambiente.
- Consente la misurazione in tempo reale di qualsiasi schema di quantizzazione registrato come funzione tensoriale.
- Il sistema può attivare meccanismi di riparazione quando il rischio supera le soglie.
- Il lavoro affronta il divario tra la validazione offline tramite benchmark e la sicurezza a livello di richiesta in tempo reale.
Entità
Istituzioni
- arXiv
- SGLang