Tree-of-Thought basato sulla novità migliora il ragionamento dei LLM
Un nuovo preprint su arXiv introduce un approccio basato sulla novità per la ricerca Tree-of-Thought (ToT) nei modelli linguistici di grandi dimensioni (LLM), con l'obiettivo di migliorare il ragionamento e la pianificazione riducendo i costi computazionali. Il metodo, ispirato alla ricerca basata sull'ampiezza nella pianificazione, definisce un concetto misurabile di novità per valutare l'unicità di ogni nodo di pensiero rispetto ai nodi precedentemente esplorati nell'albero di ricerca. La novità viene stimata interrogando il LLM stesso, sfruttando la sua conoscenza generale pre-addestrata. Questa metrica viene quindi utilizzata per potare i rami, concentrando la ricerca su percorsi più promettenti. L'approccio affronta le debolezze comuni dei LLM come la fragilità, l'elevato tempo e il consumo di token nei compiti di ragionamento. Il paper è disponibile su arXiv con ID 2605.06040.
Fatti principali
- arXiv:2605.06040 introduce la ricerca Tree-of-Thought basata sulla novità per i LLM.
- La novità misura l'unicità di un nodo di pensiero rispetto ai nodi già visti.
- La novità viene stimata interrogando il LLM utilizzando la sua conoscenza pre-addestrata.
- Il metodo pota i rami per ridurre i costi di tempo e token.
- Ispirato alla ricerca basata sull'ampiezza nella pianificazione.
- Mira a migliorare le prestazioni di ragionamento e pianificazione dei LLM.
- Affronta la fragilità e gli elevati costi computazionali degli attuali approcci LLM.
- Pubblicato come nuovo preprint su arXiv.
Entità
Istituzioni
- arXiv