HAMP-LIC: Quantizzazione Post-Addestramento a Precisione Mista Consapevole dell'Hessiana per la Compressione delle Immagini Appresa
Un nuovo framework chiamato HAMP-LIC è stato sviluppato da ricercatori per la quantizzazione post-addestramento a precisione mista (PTQ) di modelli di compressione delle immagini appresa (LIC). Questo metodo innovativo affronta le sfide poste dalla complessità computazionale e dalla diversità hardware che ostacolano l'implementazione del LIC. Utilizzando la traccia dell'Hessiana per stimare la sensibilità a livello di blocco, valuta l'importanza del secondo ordine dei livelli. Inoltre, un modulo di raffinamento consapevole del compito ottimizza queste sensibilità tenendo conto sia della distorsione di quantizzazione che delle prestazioni rate-distortion. Il processo di ottimizzazione in quattro fasi facilita la distribuzione efficace e precisa a bassa bit-width di modelli LIC pre-addestrati. Questa ricerca, accessibile su arXiv (2608.12239), cerca di ridurre la perdita di qualità a bit-width inferiori considerando le sensibilità di quantizzazione specifiche del livello, affrontando un difetto della quantizzazione uniforme a precisione fissa.
Fatti principali
- HAMP-LIC è un framework di quantizzazione post-addestramento a precisione mista consapevole dell'Hessiana per la compressione delle immagini appresa.
- Utilizza una strategia di ottimizzazione in quattro fasi.
- La sensibilità a livello di blocco è stimata dalla traccia dell'Hessiana per catturare l'importanza del secondo ordine.
- Un modulo di raffinamento consapevole del compito regola le sensibilità considerando congiuntamente la distorsione di quantizzazione e le prestazioni rate-distortion.
- Il metodo mira a consentire una distribuzione efficiente e accurata a bassa bit-width di modelli LIC pre-addestrati.
- La quantizzazione uniforme a precisione fissa subisce una grave degradazione della qualità a bit-width basse.
- Il lavoro è disponibile su arXiv con identificatore 2608.12239.
- L'articolo affronta la complessità computazionale e le discrepanze di codifica-decodifica su piattaforme hardware eterogenee.
Entità
Istituzioni
- arXiv