I modelli di previsione dei link apprendono euristiche banali a causa della normalizzazione batch
Un nuovo studio rivela che i popolari modelli di previsione dei link nelle reti neurali a grafo (GNN) possono apprendere un'euristica banale dipendente dal mini-batch, resa possibile dai livelli di normalizzazione batch, per risolvere compiti di classificazione degli archi. Questa scoperta mette in discussione l'assunzione che le GNN addestrate per la previsione dei link apprendano una rappresentazione coerente con la classificazione dei nodi. Correggendo questa euristica, la rappresentazione della rete si allinea meglio con le caratteristiche rilevanti per la classe dei nodi, suggerendo un apprendimento migliorato delle proprietà sottostanti del grafo. La ricerca indica che l'addestramento standard per la previsione dei link potrebbe sopravvalutare la capacità dei modelli di apprendere rappresentazioni generalizzate.
Fatti principali
- Lavori precedenti sulla classificazione dei nodi hanno mostrato che le GNN possono apprendere rappresentazioni trasferibili tra grafi.
- Per un grafo fisso, ci si aspettava che le GNN addestrate per la previsione dei link apprendessero una rappresentazione coerente con la classificazione dei nodi.
- Lo studio ha scoperto che i popolari modelli di previsione dei link possono apprendere un'euristica banale dipendente dal mini-batch.
- I livelli di normalizzazione batch consentono questa euristica per i compiti di classificazione degli archi.
- Correggere l'euristica aumenta l'allineamento della rappresentazione della rete con le caratteristiche rilevanti per la classe dei nodi.
- I risultati suggeriscono che l'addestramento standard per la previsione dei link potrebbe sopravvalutare la capacità dei predittori di link di apprendere rappresentazioni generalizzate.
- La ricerca è pubblicata su arXiv con ID 2604.25978.
- Lo studio si concentra sulle reti neurali a grafo.
Entità
Istituzioni
- arXiv