La teoria della biforcazione prevede l'emergenza di concetti nelle reti neurali in tempo reale

Uno studio recente pubblicato su arXiv (2605.24057) presenta una teoria della biforcazione volta a identificare quando le reti neurali iniziano a formare rappresentazioni strutturate durante il loro addestramento, indipendentemente dalle etichette. Esaminando una sonda passiva basata su un modello di miscela gaussiana collegata all'encoder in sviluppo, gli autori dimostrano che l'emergere della struttura si allinea con una biforcazione a forcone supercritica influenzata dall'Hessiano della perdita. Ciò si traduce in una coordinata di fase universale e senza etichette – il rapporto dinamico β(t)/β_c(t) – che può essere calcolato esclusivamente dagli stati nascosti. La teoria è stata testata in vari scenari, inclusi autoencoder sparsi su modelli linguistici Pythia, apprendimento auto-supervisionato su CIFAR e grokking in aritmetica modulare, confermando quattro distinti regimi di transizione.