ReQuant: Rifinitura Discreta a Griglia Fissa per la Quantizzazione Post-Addestramento
Un nuovo articolo su arXiv introduce ReQuant, una procedura di rifinitura a griglia fissa senza retropropagazione per la quantizzazione post-addestramento (PTQ) di modelli linguistici di grandi dimensioni. Il metodo affronta una lacuna nelle tecniche PTQ esistenti, che tipicamente trattano i pesi quantizzati come definitivi dopo l'ottimizzazione iniziale. ReQuant opera come fase complementare, rivisitando iterativamente le assegnazioni di pesi discreti su una griglia di quantizzazione fissa per ridurre l'errore quadratico medio di ricostruzione, preservando al contempo il formato quantizzato. È agnostico rispetto all'inizializzatore PTQ e accetta qualsiasi modello quantizzato esistente come punto di partenza. L'articolo è disponibile su arXiv con identificativo 2608.07019.
Fatti principali
- ReQuant è una procedura di rifinitura a griglia fissa senza retropropagazione per la quantizzazione post-addestramento.
- Si rivolge a modelli linguistici di grandi dimensioni per ridurre i costi di memoria e calcolo.
- I metodi PTQ esistenti tipicamente trattano i pesi quantizzati come definitivi dopo l'ottimizzazione iniziale.
- ReQuant rivisita iterativamente le assegnazioni di pesi discreti su una griglia di quantizzazione fissa.
- Gli aggiornamenti accettati riducono strettamente l'errore quadratico medio di ricostruzione.
- Preserva il formato quantizzato e rimane sulla griglia originale.
- ReQuant è agnostico rispetto all'inizializzatore PTQ.
- L'articolo è disponibile su arXiv con identificativo 2608.07019.
Entità
Istituzioni
- arXiv