La regolarizzazione basata sulla salienza migliora la calibrazione della quantizzazione degli LLM

Un nuovo articolo su arXiv introduce SARQC, un framework che affronta il rischio di generalizzazione nella quantizzazione post-addestramento (PTQ) per modelli linguistici di grandi dimensioni (LLM). I metodi PTQ esistenti minimizzano l'errore di ricostruzione a livello di layer su dati di calibrazione limitati, il che può causare una divergenza dei pesi quantizzati da quelli originali e degradare le prestazioni downstream. SARQC aggiunge un termine di regolarizzazione basato sulla salienza che incoraggia i pesi quantizzati a rimanere vicini a quelli originali, migliorando la calibrazione. Il framework unifica la ricerca di scala e i metodi basati su Gram sotto un obiettivo regolarizzato. L'articolo è disponibile su https://arxiv.org/abs/2605.05693.