Proprietà delle Caratteristiche nelle Reti Neurali Controllata da un Gauge di Scaling

Uno studio recente pubblicato su arXiv (2608.06766) esamina la regolazione della specializzazione delle caratteristiche in reti ReLU sovraparametrizzate attraverso un parametro non visibile al predittore iniziale. Utilizzando un framework gaussiano insegnante-studente, i ricercatori hanno mantenuto la funzione iniziale completa mentre variavano un gauge di scaling positivo-omogeneo. I loro risultati hanno rivelato che diversi gauge portano a traiettorie di caratteristiche uniche e a una differenza significativa Θ(D²) nel tempo di specializzazione, che non può essere spiegata da alcuna alterazione temporale globale. Quando si parte con studenti identici, designare il gauge favorevole a un singolo neurone lo identifica deterministicamente come proprietario, riducendo a zero il contributo funzionale degli altri. Questa ricerca introduce la 'proprietà delle caratteristiche' e indica che una semplice selezione del gauge può influenzare quale neurone adotta una caratteristica dell'insegnante, offrendo spunti per la manipolazione delle rappresentazioni interne delle reti neurali.