Compressione del Peso Compensata dal Movimento per Reti Neurali
Una nuova tecnica di compressione dei pesi, nota come Motion-Compensated Weight Compression (MCWC), è stata introdotta su arXiv. Questo approccio allinea blocchi simmetrici per permutazione, come unità nascoste e teste di attenzione, per sfruttare la ridondanza tra i livelli, considerando la profondità come una sequenza prevedibile. Utilizza un semplice predittore sequenziale per livelli che sfrutta keyframe periodici e codifica i residui di predizione quantizzati con un modello entropico appreso. I pesi vengono ricostruiti dal decodificatore attraverso decodifica entropica, dequantizzazione, ricostruzione guidata dal predittore e allineamento inverso. Questo metodo migliora l'efficienza di compressione nel modellamento linguistico con Transformer e nella classificazione visiva.
Fatti principali
- 1. MCWC sta per Motion-Compensated Weight Compression.
- 2. Allinea blocchi simmetrici per permutazione come unità nascoste e teste di attenzione.
- 3. Il metodo trasforma la profondità in una sequenza prevedibile.
- 4. Utilizza un predittore sequenziale leggero per livelli con keyframe periodici.
- 5. Codifica i residui di predizione quantizzati usando un modello entropico appreso.
- 6. Il decodificatore ricostruisce pesi implementabili per inferenza veloce.
- 7. Testato su modellamento linguistico con Transformer e classificazione visiva.
- 8. Migliora le prestazioni di compressione rispetto ai metodi esistenti.
Entità
Istituzioni
- arXiv