SARE: Una struttura geometrica per misurare l'energia di ragionamento passo-passo nei LLM
Un recente preprint su arXiv (2607.28674) presenta Step-Aware Reasoning Energy (SARE), un modello geometrico progettato per valutare lo sforzo computazionale a livello di singolo passo di ragionamento nei grandi modelli linguistici (LLM). Questo approccio sfrutta il Centered Kernel Alignment (CKA) per analizzare le matrici di Gram degli stati nascosti dei token provenienti da layer transformer adiacenti, catturando efficacemente la struttura relazionale tra i token senza la necessità di allineamento degli autovettori o corrispondenza dei cluster. Inoltre, SARE interpreta le traiettorie CoT come movimenti attraverso stati semantici latenti, fornendo contesto per l'energia all'interno del processo di ragionamento. La valutazione di SARE su sei benchmark di ragionamento e tre LLM open-weight rivela una significativa variabilità nell'energia di ragionamento tra diversi tipi di passo. Questa struttura migliora l'interpretabilità, affrontando l'opacità dello sforzo passo-passo rispetto ai metodi tradizionali a livello di output o di traiettoria.
Fatti principali
- SARE è una struttura geometrica per quantificare lo sforzo di ragionamento per ogni passo CoT.
- Utilizza il Centered Kernel Alignment (CKA) tra le matrici di Gram degli stati nascosti dei token attraverso layer transformer adiacenti.
- SARE non richiede allineamento degli autovettori o corrispondenza dei cluster.
- Modella le traiettorie CoT come transizioni tra stati semantici latenti.
- Lo studio copre sei benchmark di ragionamento e tre LLM open-weight.
- I risultati mostrano che l'energia di ragionamento è altamente non uniforme tra i tipi di passo.
- Il preprint è disponibile su arXiv con ID 2607.28674.
- Il metodo mira a rendere più trasparente lo sforzo passo-passo nel ragionamento dei LLM.
Entità
Istituzioni
- arXiv