Legge di Scaling di Shannon: Un Nuovo Quadro per la Capacità e il Degrado dei LLM

I ricercatori hanno introdotto la Legge di Scaling di Shannon, un quadro concettuale che interpreta l'addestramento dei Grandi Modelli Linguistici (LLM) come trasferimento di informazioni attraverso un canale rumoroso, basato sul teorema di Shannon-Hartley. Questo punto di vista chiarisce comportamenti non lineari come l'overfitting catastrofico e il degrado dovuto alla quantizzazione, dove le prestazioni diminuiscono nonostante una maggiore potenza computazionale. Correlando i parametri del modello con la larghezza di banda del canale e i token di addestramento con la potenza del segnale, il quadro illustra l'interazione tra il segnale di apprendimento e il rumore intrinseco, scoprendo una capacità di Shannon di base per i LLM. Aumentare la dimensione del modello o i dati senza mantenere un rapporto segnale-rumore (SNR) adeguato intensifica il rumore, portando a un passaggio da un miglioramento costante a un declino a forma di U delle prestazioni. L'articolo include la validazione sperimentale di questa teoria.