Il framework ThinkARM analizza il ragionamento nei LLM utilizzando la teoria di Schoenfeld
I ricercatori hanno presentato un nuovo framework scalabile chiamato ThinkARM (Anatomy of Reasoning in Models) progettato per esaminare i modelli di ragionamento dei grandi modelli linguistici (LLM). Questo framework, descritto in un articolo su arXiv (ID: 2512.19995), utilizza la Teoria degli Episodi di Schoenfeld come lente per distillare le tracce di ragionamento in componenti funzionali: Analizza, Esplora, Implementa e Verifica. Applicato alla risoluzione di problemi matematici in vari modelli, ThinkARM scopre dinamiche cognitive riproducibili e mette in evidenza differenze strutturali tra modelli di ragionamento e non ragionamento che non sono visibili attraverso l'analisi a livello di token. Due studi di caso diagnostici indicano che l'esplorazione funge da punto di ramificazione vitale legato alla correttezza, mentre i metodi orientati all'efficienza tendono a limitare i passaggi di feedback valutativo. Questa ricerca offre una nuova prospettiva a scala intermedia sul quadro cognitivo del ragionamento dei LLM.
Fatti principali
- Il framework ThinkARM astrae le tracce di ragionamento in passaggi funzionali come Analisi, Esplora, Implementa, Verifica.
- Basato sulla Teoria degli Episodi di Schoenfeld.
- Applicato alla risoluzione di problemi matematici da diversi modelli linguistici.
- Rivela differenze strutturali tra modelli di ragionamento e non ragionamento.
- L'esplorazione è un passaggio di ramificazione critico legato alla correttezza.
- I metodi orientati all'efficienza sopprimono i passaggi di feedback valutativo.
- Articolo disponibile su arXiv con ID 2512.19995.
- Il framework è scalabile e astrae esplicitamente le tracce di ragionamento.
Entità
Istituzioni
- arXiv