J-CoT: Un Nuovo Quadro di Ragionamento Ricorrente per Modelli Linguistici
Un recente articolo di ricerca presenta J-CoT, un quadro di ragionamento ricorrente che opera all'interno dello spazio J, un sistema di coordinate che indicizza il vocabolario nelle rappresentazioni nascoste di un modello linguistico. Mentre il prompting a catena di pensiero migliora il ragionamento mantenendo stati intermedi attraverso vari passaggi, affidarsi esclusivamente al linguaggio naturale come interfaccia ricorrente risulta limitante, poiché molti calcoli temporanei non richiedono una verbalizzazione completa. Le attuali tecniche di ragionamento latente trasmettono stati nascosti continui ma mancano di metodi chiari per scegliere e strutturare le informazioni necessarie per i passaggi successivi. J-CoT risolve questo problema offrendo un'interfaccia intermedia che è linguisticamente fondata ma non necessita di una frase decodificata. Il modello esegue calcoli nell'intero spazio nascosto durante ogni ciclo e, alla fine del ciclo, J-CoT organizza le informazioni utilizzando il sistema di coordinate dello spazio J. L'articolo è disponibile su arXiv con ID 2607.21981.
Fatti principali
- 1. J-CoT è un quadro di ragionamento ricorrente basato sullo spazio J.
- 2. Lo spazio J è un sistema di coordinate indicizzato al vocabolario all'interno delle rappresentazioni nascoste del modello.
- 3. Il prompting a catena di pensiero migliora il ragionamento dei modelli linguistici trasportando stati intermedi attraverso passaggi di calcolo successivi.
- 4. Il linguaggio naturale come unica interfaccia ricorrente è eccessivamente restrittivo.
- 5. I metodi esistenti di ragionamento latente propagano stati nascosti continui ma mancano di meccanismi espliciti di selezione delle informazioni.
- 6. J-CoT fornisce un'interfaccia intermedia linguisticamente fondata senza richiedere una frase decodificata.
- 7. In ogni ciclo, il modello calcola nell'intero spazio nascosto.
- 8. Al confine del ciclo, J-CoT seleziona e organizza le informazioni utilizzando lo spazio J.
Entità
Istituzioni
- arXiv