Temperatura di Sfondo: Nuova Metrica per la Casualità Nascosta nei LLM

Un nuovo preprint su arXiv (2604.22411) introduce il concetto di 'temperatura di sfondo' (T_bg) per caratterizzare il non determinismo nei modelli linguistici di grandi dimensioni (LLM) anche quando si decodifica a temperatura nominale T=0. Il lavoro, di Thinking Machines Lab, identifica fonti di casualità a livello di implementazione come la variazione della dimensione del batch, la non invarianza del kernel e la non associatività in virgola mobile. Gli autori formalizzano T_bg come la temperatura effettiva indotta da perturbazioni dipendenti dall'implementazione, la mettono in relazione con un processo stocastico governato dall'ambiente di inferenza I e propongono un protocollo empirico per stimare T_bg tramite la temperatura equivalente T_n(I) di un sistema di riferimento ideale. Esperimenti pilota su principali fornitori di LLM dimostrano il concetto.