BaKron: Quantizzazione Efficiente con Hessiani Fattorizzati di Kronecker
L'introduzione di BaKron, un nuovo algoritmo, mira a migliorare la velocità della quantizzazione delle reti neurali utilizzando approssimazioni dell'Hessiano fattorizzate di Kronecker. Questo approccio migliora tecniche precedenti come GPTQ, BoA e YAQA, presentando un risolutore più efficiente che riduce la complessità computazionale da O(m^2n^2) a O(mn(m+n)) per una matrice di pesi di dimensione m×n. Questa efficienza è ottenuta tramite parallelismo anti-diagonale e una strategia ricorsiva divide-et-impera, che richiede solo O(m+n) passi sequenziali. BaKron mantiene la scala cubica di GPTQ mentre sfrutta informazioni di curvatura più dettagliate, garantendo modularità con il metodo di quantizzazione sottostante. La ricerca è disponibile su arXiv con l'identificatore 2608.06291.
Fatti principali
- BaKron è un risolutore efficiente per la quantizzazione delle reti neurali che utilizza approssimazioni dell'Hessiano fattorizzate di Kronecker.
- Si basa sull'arrotondamento adattivo in stile GPTQ e sulle formulazioni bilaterali di BoA e YAQA.
- Per una matrice di pesi m×n, BaKron utilizza O(m+n) passi sequenziali.
- Il lavoro totale è ridotto da O(m^2n^2) a O(mn(m+n)).
- BaKron eguaglia la scala cubica di GPTQ mentre utilizza informazioni di curvatura più ricche.
- Il metodo è modulare rispetto all'algoritmo di quantizzazione di base.
- L'articolo è disponibile su arXiv con l'identificatore 2608.06291.
Entità
Istituzioni
- arXiv