Connettività di Modo Indotta dall'Ottimizzatore nelle Reti Neurali

Un recente articolo di ricerca disponibile su arXiv (2605.09991) esamina l'impatto di ottimizzatori come AdamW e Muon sulla connettività di modo all'interno delle reti neurali. Lo studio rivela che per reti ReLU a due strati, le soluzioni generate da un singolo ottimizzatore creano un insieme connesso quando la larghezza della rete è grande, cosa non stabilita in ricerche precedenti. A seconda del tipo di regolarizzazione, le regioni influenzate da diversi ottimizzatori possono sovrapporsi o rimanere separate. In scenari con larghezze minori, AdamW e Muon portano a componenti a perdita zero disconnesse, separate da una barriera di perdita dimostrabile. Inoltre, durante il pre-addestramento di GPT-2, i percorsi che utilizzano lo stesso ottimizzatore mantengono lo spettro di ciascun modello, mentre i percorsi che utilizzano ottimizzatori diversi mostrano una transizione graduale.