Cablaggio vs. Fusione: Cosa si Trasferisce tra Dimensioni di Trasformatori -- e Cosa No

Un recente articolo su arXiv (2608.02829) esplora la fattibilità di trasformare un modello transformer pre-addestrato di grandi dimensioni in una versione più piccola, esaminando specificamente la transizione da 1,4B a 410M parametri nella serie Pythia. I risultati rivelano un forte allineamento nelle rappresentazioni tra diverse dimensioni (ridge R^2=0,84), sebbene l'allineamento dei parametri sia debole. Lo studio indica che la proiezione densa dei pesi interrompe la funzionalità, non solo un problema di assemblaggio, poiché interferisce con le strutture rotary, per-head, GELU e LayerNorm. Dopo l'utilizzo dell'operatore lineare ottimale, i residui dei pesi apparivano statisticamente simili al rumore sotto controlli di shuffle, suggerendo che l'efficacia della conversione è radicata nell'inizializzazione. Nel pre-addestramento continuato con budget corrispondente, la conversione è divisa in due componenti distinte: compensazione ai minimi quadrati (funzione: zero-shot ottimale) e riscalatura che preserva la varianza (dinamica: endpoint ottimali). La compensazione si rivela un vantaggio a basso costo ed efficiente in termini di token, piuttosto che una soluzione universale, dimostrando benefici a 30M token. Questa ricerca, datata agosto 2026, migliora la comprensione della conversione di modelli e dell'apprendimento per trasferimento nell'IA, con implicazioni significative per l'implementazione efficiente di modelli e le metodologie di addestramento.