Equazione di Apprendimento delle Feature Collega la Matrice dei Pesi Gram alla Dinamica delle Reti Neurali

Una recente pubblicazione su arXiv presenta un framework incentrato sulle feature per l'analisi dell'addestramento nelle reti neurali profonde. Gli autori propongono l'Equazione di Apprendimento delle Feature, che evidenzia la matrice dei pesi Gram come cruciale per comprendere la dinamica delle feature. Questa prospettiva consente di interpretare la discesa del gradiente come un processo che induce un'evoluzione teorica delle feature, con la sua struttura di covarianza—denominata Covarianza Virtuale—che descrive come le rappresentazioni cambiano durante l'addestramento. Inoltre, introducono la Linearità Target, una metrica per valutare la relazione lineare tra feature e target. La loro analisi della dinamica di addestramento e per strati rivela che le reti profonde aggiustano progressivamente le rappresentazioni verso una configurazione lineare rispetto al target. Il documento è disponibile su arXiv:2605.06258.