Studio Empirico Verifica il Teorema di Repulsione nel Grokking delle Reti Neurali

Un nuovo studio empirico indaga il teorema di repulsione proposto da Tian (2025) per reti neurali a due strati in fase di grokking, un fenomeno in cui le reti generalizzano improvvisamente dopo un prolungato overfitting. Il teorema prevede che durante l'apprendimento interattivo delle caratteristiche, caratteristiche simili si respingano a vicenda, lasciando una firma spettrale negli aggiornamenti dei parametri. Lo studio testa questa ipotesi sulla configurazione di addizione modulare di Tian (M=71, K=2048, perdita MSE) e trova una dissociazione struttura-meccanismo: la regola del segno prevista vale robustamente per le 200 coppie di caratteristiche più simili, con la corrispondenza empirica del segno che sale da 0,865 a 0,985 su σ=x² attraverso 5 semi e satura a 1,000 su σ=ReLU. Tuttavia, la firma spettrale negli aggiornamenti dei parametri è fortemente dipendente dall'attivazione, indicando che il meccanismo di repulsione non è sempre empiricamente osservabile. Il lavoro è stato pubblicato su arXiv con ID 2605.08119.