Stati Nascosti Rivelano Informazioni Rilevanti per il Compito nel Ragionamento a Catena di Pensiero

Un recente articolo di ricerca su arXiv (2604.23351) esamina se i token della catena di pensiero (CoT) contengono informazioni specifiche del compito al di là di semplici spiegazioni. Utilizzando il patching dell'attivazione su GSM8K, i ricercatori hanno trasferito gli stati nascosti a livello di token da una generazione CoT a una risposta diretta per la stessa domanda. I risultati indicano che il patching raggiunge una maggiore accuratezza sia rispetto al prompting a risposta diretta sia alla traccia CoT originale, suggerendo che i singoli token CoT possiedono informazioni sufficienti per derivare la risposta corretta, anche se la traccia originale è imperfetta. Le informazioni rilevanti per il compito sono più abbondanti nelle esecuzioni CoT corrette, distribuite in modo non uniforme tra i token, con una concentrazione negli strati medio-alti e che appaiono prima nel processo di ragionamento. Lo studio esamina anche i token linguistici, inclusi i verbi.