PTQ4SNN: Quantizzazione Post-Addestramento Consapevole della Membrana per Reti Neurali Spike
C'è un nuovo preprint su arXiv (2608.07066v1) che introduce PTQ4SNN, un framework volto a migliorare la quantizzazione post-addestramento per le reti neurali spike (SNN). Affronta un problema importante: quando le SNN vengono implementate con precisione a basso bit, gli stati di membrana spesso rimangono in formato a virgola mobile anche dopo che i pesi sono stati quantizzati. Questa situazione si verifica a causa delle differenze nella distribuzione dei canali e della loro sensibilità vicino alla soglia di attivazione. PTQ4SNN utilizza un piccolo set di calibrazione e incorpora due componenti chiave: un Ponte di Scala Unificata per canale, che facilita conversioni compatibili, e un'Allocazione di Bit a Precisione Mista, che adatta la precisione dei bit (2/4/8 bit) in base all'attività di attivazione e alla sensibilità, migliorando infine l'efficienza e l'accuratezza dell'implementazione delle SNN.
Fatti principali
- PTQ4SNN è un framework di quantizzazione post-addestramento per reti neurali spike.
- Quantizza congiuntamente pesi e stati di membrana ricorrenti.
- Il metodo utilizza un piccolo set di calibrazione.
- Il Ponte di Scala Unificata vincola la scala di membrana come s_mem,c = s_w,c * 2^k_c.
- L'Allocazione di Bit a Precisione Mista assegna precisione a 2/4/8 bit ai canali di membrana.
- L'articolo è disponibile su arXiv con ID 2608.07066v1.
- L'approccio affronta la sfida di quantizzare gli stati di membrana nelle SNN.
- Il metodo mira a consentire l'implementazione a basso bit delle SNN.
Entità
Istituzioni
- arXiv