MixQuant: Quantizzazione Adattiva a Precisione Mista per LLM

MixQuant, un nuovo framework, affronta il problema della quantizzazione adattiva a precisione mista per modelli linguistici di grandi dimensioni (LLM). Le tecniche tradizionali a precisione mista assegnano larghezze di bit più elevate ai layer critici, ma sono limitate a un singolo budget di memoria fisso, che può variare tra implementazioni e rimane sconosciuto durante la calibrazione. La quantizzazione adattiva mira ad adattarsi a qualsiasi budget con una singola calibrazione offline; tuttavia, i metodi di scoring esistenti trascurano come la sensibilità di un layer sia correlata ai livelli di quantizzazione dei layer circostanti. Questo framework adattivo agnostico rispetto alla tecnica può integrarsi con qualsiasi quantizzatore di base. Valuta la distorsione di ogni layer attraverso varie configurazioni upstream quantizzate casualmente per generare punteggi agnostici rispetto al budget, calibrando successivamente i parametri del quantizzatore in base a tali punteggi. La ricerca evidenzia che la sensibilità di un layer è significativamente influenzata dalle larghezze di bit dei suoi layer upstream, alterando l'allocazione ottimale dei bit. L'articolo è disponibile su arXiv con ID 2607.23047.