Gli LLM Ricostruiscono Spontaneamente la Topologia dei Grafi Internamente, Secondo uno Studio

Un recente preprint su arXiv (2605.10503) indica che i Large Language Models (LLM) ricostruiscono intrinsecamente le strutture dei grafi durante l'elaborazione di informazioni serializzate sui grafi, come mostrato da un pattern 'a dente di sega' nelle mappe di attenzione che corrisponde a una matrice di adiacenza a livello di token. Tuttavia, questa comprensione naturale della struttura è compromessa dal sink di attenzione, dove i modelli si concentrano eccessivamente su token specifici. Gli autori definiscono questo compromesso come un collo di bottiglia rappresentazionale, derivante da un conflitto tra il bias anisotropico del modello—vantaggioso per compiti linguistici—e l'aggregazione locale necessaria per il ragionamento sui grafi. Gli approcci attuali, come adattatori esterni basati su grafi o il fine-tuning, sono costosi e limitano la generalizzabilità. L'articolo suggerisce di potenziare l'attenzione strutturale all'interno degli LLM per migliorare l'efficienza del ragionamento sui grafi senza strumenti esterni.