I modelli linguistici di IA mostrano una transizione di fase nascosta nella veridicità

Un nuovo studio da arXiv rivela una transizione di fase nei grandi modelli linguistici in cui ragionamento e veridicità passano dall'anticorrelazione alla cooperazione a una scala critica di circa 3,5 miliardi di parametri. I ricercatori hanno misurato l'accoppiamento in 63 modelli base di 16 famiglie, scoprendo che al di sotto della soglia critica le capacità sono in conflitto, mentre al di sopra si allineano. Il punto di transizione varia in base all'architettura, alla cura dei dati e alla ricetta di addestramento. In particolare, l'addestramento curato ha eliminato il calo di accoppiamento nei modelli Qwen, Gemma-4 ha raggiunto un alto accoppiamento tramite distillazione, e Phi ha eguagliato modelli più grandi solo con la cura dei dati. La normalizzazione della larghezza ha eliminato l'anticorrelazione in tutte le famiglie testate.