Due Modalità di Fallimento della Quantizzazione dei LLM Identificate: Degrado del Segnale vs Collasso del Calcolo

Un nuovo articolo su arXiv (2604.19884) presenta un'analisi meccanicistica sistematica della quantizzazione post-addestramento (PTQ) nei modelli linguistici di grandi dimensioni (LLM), rivelando due modalità di fallimento qualitativamente distinte quando si riduce la precisione a 2 bit. La prima, il Degrado del Segnale, preserva i pattern computazionali ma compromette la precisione delle informazioni attraverso errori cumulativi. La seconda, il Collasso del Calcolo, distrugge componenti chiave nei primi strati, impedendo la corretta elaborazione delle informazioni. Mentre la quantizzazione a 4 bit è ampiamente considerata ottimale, quella a 2 bit innesca tipicamente un catastrofico precipizio prestazionale. Lo studio dimostra che una riparazione mirata senza addestramento può mitigare il Degrado del Segnale, ma rimane inefficace per il Collasso del Calcolo.