L'apprendimento della connettività nei grafi da parte dei Transformer dipende dalla struttura del grafo

Un nuovo studio indaga se i modelli linguistici di grandi dimensioni (LLM) basati su transformer possono imparare a inferire relazioni transitive da esempi di addestramento, una capacità essenziale per compiti di ragionamento come l'inferenza causale. Il compito è equivalente a determinare la connettività in grafi diretti: se A si connette a B e B si connette a C, allora A si connette a C. Lavori precedenti hanno esaminato l'apprendimento in contesto della transitività, ma questa ricerca si concentra sull'apprendimento dai dati di addestramento e sull'impatto del ridimensionamento. I risultati rivelano che i transformer possono apprendere la connettività in alcune strutture di grafo ma non in altre, evidenziando limitazioni nelle loro capacità di ragionamento.