Nuovo Metodo Riduce gli Errori di Calibrazione e Troncamento nella Compressione di LLM Senza Addestramento

Un recente articolo su arXiv (2608.08506) evidenzia due notevoli inconvenienti nelle attuali tecniche di compressione a basso rango senza addestramento per i grandi modelli linguistici (LLM). Il primo problema riguarda l'accumulo di errori residui nelle attivazioni dei dati di calibrazione attraverso i livelli durante il processo di compressione, portando a una disparità tra le rappresentazioni durante la compressione e quelle durante l'inferenza. Il secondo limite è l'assunzione errata che la distribuzione dell'importanza dei livelli rimanga coerente dopo la compressione. Per affrontare queste sfide, gli autori introducono un approccio semplice, senza addestramento, che si integra perfettamente con i framework esistenti. Questo include la Compressione Livello per Livello con Correzione della Calibrazione e la Compressione Iterativa con Correzione dell'Allocazione dei Ranghi, con l'obiettivo di migliorare l'allineamento degli LLM compressi senza richiedere ulteriore addestramento. L'articolo è stato appena presentato su arXiv.