RRQ: Quantizzazione Multi-Precisione a Checkpoint Singolo per LLM

Un nuovo approccio di quantizzazione post-addestramento chiamato Recurrent Residual Quantization (RRQ) facilita varie precisioni efficaci da un singolo checkpoint del modello. Questa innovazione soddisfa la richiesta di compromessi adattabili tra accuratezza, utilizzo della memoria e throughput quando si distribuiscono modelli linguistici di grandi dimensioni (LLM) in vari ambienti. A differenza delle tecniche tradizionali che richiedono checkpoint distinti per ogni bit-width desiderato, RRQ codifica i pesi come una base quantizzata a basso bit completata da una serie di aggiustamenti residui quantizzati. Partendo da un modello a 2 bit derivato tramite quantizzazione post-addestramento (PTQ) o arrotondamento al più vicino (RTN), RRQ incorpora incrementalmente residui leggeri a 2 bit tramite RTN per creare versioni a 4, 6 e 8 bit. Questo metodo non richiede calibrazione e bypassa l'ottimizzazione congiunta multi-bit. Nella configurazione Qwen3-8B, il pacchetto completo all-RTN a 2/4/6/8 bit viene assemblato in 1.293 secondi, che è 3,3 volte più veloce rispetto alla baseline. La ricerca è disponibile su arXiv con ID 2608.04048.