L'elaborazione dei segnali su grafi rivela come i LLM organizzano le sequenze numeriche
Un recente preprint disponibile su arXiv (2608.03015) esplora la rappresentazione interna delle sequenze numeriche da parte dei grandi modelli linguistici (LLM) durante l'apprendimento contestuale (ICL). I ricercatori utilizzano un framework di elaborazione dei segnali su grafi, in cui i meccanismi di attenzione creano grafi pesati a partire dai token, e gli stati nascosti agiscono come segnali sui nodi del grafo. La loro analisi, che include diagnostiche quantitative spettrali sui grafi e visualizzazioni qualitative dei grafi dei token, rivela che una maggiore lunghezza del contesto porta a rappresentazioni più distinte in base alla complessità delle dinamiche di input. Input più semplici risultano in grafi di token con una maggiore connettività globale e segnali di stato nascosto più uniformi. Questa ricerca va oltre la semplice valutazione dell'accuratezza dell'output, fornendo approfondimenti su come i LLM gestiscono dati numerici strutturati, migliorando potenzialmente le loro capacità di ragionamento numerico.
Fatti principali
- Il preprint arXiv:2608.03015 si concentra sull'apprendimento contestuale di sequenze numeriche nei LLM.
- Adotta una prospettiva di elaborazione dei segnali su grafi per studiare le rappresentazioni interne.
- L'attenzione induce grafi pesati sui token; gli stati nascosti sono segnali sui nodi.
- Le rappresentazioni diventano più differenziate in base alla complessità dinamica dell'input con contesto più lungo.
- Input più semplici producono grafi di token con una connettività globale più forte.
- Input più semplici producono segnali di stato nascosto più lisci e spettralmente concentrati.
- Lo studio va oltre le valutazioni a livello di output come l'errore di previsione.
- La ricerca mira a comprendere l'organizzazione interna delle informazioni numeriche nei LLM.
Entità
Istituzioni
- arXiv