APQ e MAQEE: Nuovi Metodi di Quantizzazione per Vision Transformer a Uscita Anticipata

Un recente preprint su arXiv (2605.07317) presenta la Quantizzazione a Precisione Ammortizzata (APQ) e la Quantizzazione Adattiva Reciproca con Uscita Anticipata (MAQEE) per affrontare le sfide dell'instabilità nei Vision Transformer (ViT) a uscita anticipata a bassa precisione. Le attuali tecniche di quantizzazione si basano su un modello di esecuzione statico a profondità completa, portando a imprecisioni quando le decisioni di uscita sono influenzate dal rumore di quantizzazione. APQ offre un approccio consapevole dell'utilizzo che esamina l'esposizione stocastica a livello di layer a questo rumore, evidenziando i compromessi tra profondità e precisione. Nel frattempo, MAQEE impiega una strategia a due livelli che ottimizza sia le soglie di uscita che le larghezze di bit con una gestione esplicita del rischio, migliorando la stabilità dell'inferenza. Questo metodo raggiunge una frontiera di Pareto più favorevole nel bilanciamento accuratezza-efficienza, riducendo i BOP fino al 95% senza sacrificare l'accuratezza, superando i baselines robusti.