QuaSAR: Nuovo Metodo per la Compensazione Stabile della Quantizzazione Sensibile all'Attivazione

Una recente pubblicazione su arXiv (2608.14149) presenta QuaSAR, una tecnica progettata per la compensazione della quantizzazione tramite troncamento di rango stabile e sensibile all'attivazione. Questo studio affronta un problema significativo negli attuali approcci di post-training quantization (PTQ) senza training che si basano sulla compensazione residua in forma chiusa per migliorare l'accuratezza del modello. Nelle configurazioni a basso bit (W4A4), il meccanismo di gating goodness-of-fit, che identifica i layer da compensare in base a punteggi di fit residuo positivi, fatica a distinguere tra errori di quantizzazione imprevedibili e fallimenti del solutore numerico. Gli autori rivelano che attivazioni di input con rango carente possono portare a matrici di Gram mal condizionate o numericamente singolari, causando instabilità nel solutore in forma chiusa e punteggi di fit erroneamente negativi. Di conseguenza, i layer che potrebbero beneficiare della compensazione vengono erroneamente considerati non compensabili ed eliminati. QuaSAR contrasta questo problema utilizzando il troncamento di rango stabile e sensibile all'attivazione per una compensazione affidabile. Questo metodo è cruciale per migliorare l'accuratezza dei modelli quantizzati senza ulteriore training, in particolare per modelli di grandi dimensioni su dispositivi con risorse limitate. I risultati sottolineano la necessità di stabilità numerica nel PTQ e offrono una soluzione praticabile. Il documento è accessibile all'indirizzo https://arxiv.org/abs/2608.14149.