SliceGraph: Mappatura degli Isomeri di Ragionamento nel Chain-of-Thought Multi-Esecuzione
L'approccio innovativo noto come SliceGraph crea una rappresentazione grafica della struttura geometrica coinvolta nel ragionamento chain-of-thought multi-esecuzione utilizzando stati computazionali intermedi. Impiega il mutual-kNN basato sulla similarità di Jaccard derivata da chiavi di attivazione sparse per individuare unità di stato di ragionamento condivise (componenti biconnessi) e famiglie di processi (unità di percorso coerenti per strategia). Nell'85,5% delle 954 celle problema-modello esaminate, chain-of-thought corretti che producevano la stessa risposta erano suddivisi in varie famiglie di processi; per le celle con almeno due di tali esecuzioni, in media il 76,6% delle coppie di esecuzioni apparteneva a famiglie diverse. Ciò indica che, sebbene i percorsi corretti possano differire nei loro processi, possono comunque arrivare alla stessa conclusione, sfidando la nozione di aggregati di risposte finali collassati. La ricerca ha coinvolto tre modelli 4B/8B testati su benchmark di matematica e scienze.
Fatti principali
- SliceGraph è un grafo post-hoc cella problema-modello costruito tramite mutual-kNN sulla similarità di Jaccard delle chiavi di attivazione sparse tra slice di CoT.
- Tratta il grafo come un oggetto di misura per la geometria del processo, non come un programma di decodifica.
- Sono stati utilizzati tre modelli principali 4B/8B su benchmark di matematica e scienze.
- L'annotazione in cieco supporta i componenti biconnessi di SliceGraph come unità di stato di ragionamento condivise.
- Le famiglie di processi sono unità di percorso coerenti per strategia all'interno della stessa famiglia.
- Nell'85,5% di 954 celle problema-modello, CoT corretti che condividono la stessa risposta normalizzata si suddividono in più famiglie di processi.
- Tra le celle con almeno due di tali esecuzioni, in media il 76,6% delle coppie di esecuzioni appartiene a famiglie diverse.
- L'articolo chiama queste traiettorie corrette con stessa risposta ma famiglie divergenti 'isomeri di processo'.
Entità
Istituzioni
- arXiv