Leggi di Scala della Conoscenza Stratificata per Compiti per LLM Quantizzati Post-Addestramento
Uno studio recente presenta le Leggi di Scala della Conoscenza Stratificata per Compiti per esaminare l'impatto della quantizzazione post-addestramento (PTQ) sulle varie capacità di conoscenza nei modelli linguistici di grandi dimensioni (LLM). Questo quadro categorizza le capacità in memorizzazione, applicazione e ragionamento, integrando dimensione del modello, larghezza di bit, dimensione del gruppo e dimensione del set di calibrazione. Testato su 293 configurazioni PTQ, i risultati indicano che il ragionamento è sensibile alla precisione, l'applicazione risponde alla scala e la memorizzazione è influenzata dalla calibrazione. Lo studio sottolinea la necessità di ottimizzare fattori specifici in contesti a basso bit.
Fatti principali
- La quantizzazione post-addestramento (PTQ) è fondamentale per un'implementazione efficiente degli LLM.
- Le leggi di scala esistenti trascurano fattori granulari e impatti differenziali sulle capacità di conoscenza.
- Il quadro stratifica le capacità in memorizzazione, applicazione e ragionamento.
- Unifica dimensione del modello, larghezza di bit, dimensione del gruppo e dimensione del set di calibrazione.
- Validato su 293 diverse configurazioni PTQ.
- Dimostra un forte adattamento e coerenza tra architetture.
- Il ragionamento è critico per la precisione, l'applicazione è reattiva alla scala, la memorizzazione è sensibile alla calibrazione.
- L'ottimizzazione di fattori granulari è essenziale in scenari a basso bit.
Entità
—