I Vantaggi del Chain-of-Thought Derivano dalla Co-occorrenza Locale dei Token, Non dalla Logica Globale
Un recente preprint su arXiv (2605.26795) esplora le ragioni alla base della maggiore accuratezza dei modelli linguistici attraverso il prompting chain-of-thought (CoT). I ricercatori spostano l'attenzione dai comportamenti durante la generazione alle analisi in fase di probing: con un ragionamento costante fornito, quali caratteristiche testuali influenzano il cambiamento delle risposte? Identificano due fattori chiave che contribuiscono a questo miglioramento. In primo luogo, un ragionamento mescolato globalmente supera ancora significativamente la linea di base senza ragionamento, indicando un notevole effetto di attivazione lessicale. In secondo luogo, il vantaggio aggiuntivo del testo strutturato deriva più dalla prossimità dei token che dalla disposizione logica delle frasi. Mantenere sequenze contigue di soli 2-3 token recupera gran parte del guadagno aggiuntivo verso le prestazioni complete del CoT. Test di controllo escludono la possibilità che la copia esplicita della risposta o la piena correttezza grammaticale siano i principali fattori trainanti.
Fatti principali
- Il paper arXiv 2605.26795 esamina il prompting chain-of-thought al momento del probing.
- I ragionamenti con parole mescolate globalmente superano le linee di base senza ragionamento.
- L'adiacenza di token a corto raggio (2-3 token) guida la maggior parte dei guadagni del CoT.
- L'ordinamento logico a livello di frase contribuisce meno della co-occorrenza locale.
- La copia di dichiarazioni o valori di risposta espliciti non è la causa principale.
- La piena realizzazione grammaticale non è necessaria per il miglioramento.
- Lo studio utilizza un ragionamento fisso nel contesto per isolare gli effetti in fase di probing.
- L'effetto di attivazione lessicale è identificato come una fonte complementare di guadagno.
Entità
Istituzioni
- arXiv