Dinamiche del Grokking Spiegate tramite Orologio di Weight-Decay e Rotture di Simmetria

Un recente studio teorico pubblicato su arXiv (2607.23967) presenta un modello che può essere risolto con precisione per il grokking, il fenomeno di generalizzazione ritardata osservato nelle reti neurali. I ricercatori individuano un "sottospazio di grokking" all'interno dello spazio nullo empirico, dove le previsioni durante l'addestramento non cambiano, rendendo il weight decay l'unica forza che ripristina l'equilibrio. Ciò si traduce in un graduale rilassamento dissipativo, dettato sia da leggi a tempo discreto che a tempo continuo. Forniscono previsioni specifiche sulla scala delle iterazioni per il tempo di grokking, recuperando la nota scala (1-β)/(ηλ) nel regime di regolarizzazione debole. I risultati sono rilevanti per modelli lineari che utilizzano l'ottimizzazione heavy-ball full-batch e weight decay, con un'estensione quadratica locale applicabile a reti non lineari, offrendo approfondimenti sul grokking attraverso simmetrie debolmente rotte.