StALT: Una Nuova Metrica per Rilevare il Ragionamento Autentico negli LLM
Una nuova metrica denominata Ampiezza Spaziotemporale della Transizione Latente (StALT) è stata sviluppata dai ricercatori per distinguere il ragionamento interno autentico dall'eccessiva verbosità nei modelli linguistici di grandi dimensioni (LLM). Questo studio, disponibile come preprint su arXiv (2605.01853v1), esamina le transizioni degli stati nascosti attraverso vari passi di decodifica e livelli. I risultati indicano che i percorsi di ragionamento efficaci nei modelli di ragionamento di grandi dimensioni (LRM) mostrano ampie dinamiche temporali con una concentrazione localizzata a livello di strato, una tendenza meno pronunciata nei modelli non ragionativi e nelle aree ad alta intensità di conoscenza. StALT funge da statistica senza addestramento che cattura le variazioni temporali tra token adiacenti, tenendo conto della salienza dello strato all'interno del token. Questa ricerca esplora se le lunghe tracce di soluzione degli LRM rappresentano un calcolo significativo o semplicemente un eccesso di riflessione.
Fatti principali
- 1. Lo studio introduce StALT (Ampiezza Spaziotemporale della Transizione Latente).
- 2. StALT è una statistica di traiettoria senza addestramento.
- 3. Analizza le transizioni degli stati nascosti attraverso passi di decodifica e livelli.
- 4. Le traiettorie di successo degli LRM mostrano ampie dinamiche temporali con concentrazione localizzata a livello di strato.
- 5. Questo modello è più debole nei modelli non ragionativi e nei domini ad alta intensità di conoscenza.
- 6. La ricerca affronta se le tracce degli LRM riflettano un calcolo sostanziale o verbosità.
- 7. Il preprint è disponibile su arXiv con ID 2605.01853v1.
- 8. L'articolo è categorizzato sotto cs.AI e cs.CL.
Entità
Istituzioni
- arXiv