I Graph Transformers Mostrano un Addestramento Disallineato alla Distanza nella Classificazione dei Nodi

Un nuovo studio pubblicato su arXiv (2604.22413) approfondisce i problemi che i Graph Transformers incontrano riguardo ai loro meccanismi di fallimento. Sebbene questi modelli eccellano nell'integrare informazioni a livello globale, a volte gestiscono male la comunicazione basata sulla distanza all'interno del grafo. I ricercatori hanno utilizzato un benchmark sintetico per la classificazione dei nodi su grafi di modelli a blocchi stocastici contestuali per esaminare come l'addestramento possa diventare disallineato rispetto alla distanza. Hanno scoperto che il bias preferito nella distanza del grafo cambia a seconda della località del compito. È interessante notare che un controllore adattivo oracle si avvicina quasi al bias fisso ideale, mentre un controllore a gap zero task-agnostic non performa altrettanto bene.