Quantizzazione Interleaved Cross-Block: Un Nuovo Metodo per Comprimere i LLM a Due Bit

Un nuovo articolo su arXiv (2608.09595) introduce la Quantizzazione Interleaved Cross-Block (ICBQ), una modifica alla schedulazione per la quantizzazione post-addestramento a blocchi (PTQ) di grandi modelli linguistici (LLM). Il metodo si concentra sull'impostazione fissa a due blocchi, in cui i blocchi Transformer adiacenti vengono ricostruiti all'interno di una finestra mobile. La baseline sequenziale standard fa scorrere la finestra attraverso la rete una volta, lasciando gli errori iniziali non corretti. ICBQ rivisita la coppia di confine tra blocchi consecutivi, affinando ogni giunzione due volte: una alla fine di un blocco e di nuovo all'inizio del successivo. Questo mantiene l'obiettivo locale a due blocchi e riutilizza gli input di calibrazione esistenti. Sotto le ipotesi dichiarate di contrazione locale e levigatezza, gli autori derivano un confronto del limite superiore per profondità che mostra che le rivisitazioni delle giunzioni moltiplicano il termine di errore propagato mentre il residuo rimane limitato. L'articolo è categorizzato come un nuovo annuncio su arXiv, con l'abstract che delinea il potenziale del metodo per migliorare la qualità della compressione per i LLM a due bit o meno. Il lavoro è rilevante per la tecnologia AI e l'ottimizzazione dei modelli, anche se non è ancora stato sottoposto a revisione paritaria.