Il Campionamento Casuale di Nodi Eguaglia l'Addestramento su Grafo Completo per GNN
Uno studio recente pubblicato su arXiv (2605.22480) indica che il Campionamento Casuale di Nodi (RNS), il metodo di addestramento mini-batch più semplice per le Reti Neurali su Grafi (GNN), eguaglia o supera le prestazioni dell'addestramento su grafo completo in 8 su 10 dataset, richiedendo meno tempo e memoria. I ricercatori hanno utilizzato l'analisi dell'errore all'indietro sulla Discesa del Gradiente Stocastica (SGD) per mini-batch su grafi e hanno scoperto che essa minimizza efficacemente la perdita campionata insieme a un regolarizzatore proporzionale alla varianza del gradiente del mini-batch influenzata dal campionatore. Sebbene RNS trascuri le strutture locali, produce mini-batch con perdite attese più vicine alla perdita del grafo completo, sfidando i precedenti sforzi focalizzati su campionatori sensibili alla struttura per mantenere la connettività e ridurre la varianza.
Fatti principali
- Il Campionamento Casuale di Nodi (RNS) eguaglia o supera l'addestramento su grafo completo in 8 su 10 dataset.
- RNS utilizza meno tempo di esecuzione e memoria rispetto all'addestramento su grafo completo.
- L'analisi dell'errore all'indietro mostra che la SGD per mini-batch minimizza implicitamente la perdita campionata più un regolarizzatore basato sulla varianza.
- Il regolarizzatore è proporzionale alla varianza del gradiente del mini-batch, modellata dal campionatore.
- RNS scarta la struttura locale ma produce mini-batch con perdita attesa più vicina alla perdita del grafo completo.
- Lo studio sfida la necessità di campionatori sensibili alla struttura nell'addestramento mini-batch delle GNN.
- La ricerca è pubblicata su arXiv con ID 2605.22480.
- L'addestramento mini-batch delle GNN differisce fondamentalmente dai dati i.i.d. a causa della topologia alterata e degli effetti di bordo.
Entità
Istituzioni
- arXiv