L'attenzione a cluster potenzia le reti neurali a grafo
È stato proposto un nuovo metodo chiamato attenzione a cluster (CLATT) per migliorare i modelli di machine learning su grafi. L'approccio, descritto in un articolo su arXiv (2604.07492), affronta il problema del campo recettivo limitato delle reti neurali a passaggio di messaggi (MPNN) dividendo i nodi del grafo in cluster utilizzando algoritmi di rilevamento delle comunità. Ogni nodo presta attenzione a tutti gli altri nodi all'interno del proprio cluster, fornendo un ampio campo recettivo e preservando i bias induttivi basati sulla struttura del grafo. Gli autori dimostrano che l'aggiunta di CLATT alle MPNN o ai Graph Transformer migliora significativamente le loro prestazioni. L'articolo è stato annunciato come tipo replace-cross su arXiv.
Fatti principali
- CLATT divide i nodi del grafo in cluster utilizzando algoritmi di rilevamento delle comunità già disponibili.
- Ogni nodo presta attenzione a tutti gli altri nodi in ciascun cluster.
- CLATT fornisce ampi campi recettivi mantenendo i bias induttivi basati sulla struttura del grafo.
- L'aggiunta di CLATT alle reti neurali a passaggio di messaggi o ai Graph Transformer migliora significativamente le prestazioni.
- L'articolo è disponibile su arXiv con identificativo 2604.07492.
- Il tipo di annuncio è replace-cross.
- Le reti neurali a passaggio di messaggi sono attualmente l'approccio più popolare per i compiti di machine learning su grafi.
- I Graph Transformer con attenzione globale mancano dei bias induttivi basati sulla struttura del grafo.
Entità
Istituzioni
- arXiv