Meccanismo di Prompting a Catena di Pensiero Rivelato tramite Tracciamento del Flusso di Informazioni

Uno studio recente pubblicato su arXiv (presentato a luglio 2025) esplora il miglioramento del ragionamento dei modelli attraverso il prompting a Catena di Pensiero (CoT) esaminando il flusso di informazioni durante le fasi di decodifica, proiezione e attivazione. I ricercatori hanno scoperto che CoT funge da potatore dello spazio di decodifica, impiegando template di risposta per guidare il processo di generazione dell'output, con una maggiore aderenza ai template correlata a prestazioni migliori. È interessante notare che CoT influenza l'attivazione dei neuroni in modo diverso a seconda del compito: riduce l'attivazione in compiti a dominio aperto mentre la amplifica in quelli a dominio chiuso. Questa ricerca offre un quadro per l'interpretabilità meccanicistica volto a creare prompt più efficaci. Il codice e i dati associati sono disponibili al pubblico.