Ridondanza del ragionamento LLM quantificata su larga scala
Un nuovo studio su arXiv quantifica la ridondanza nelle tracce di ragionamento dei grandi modelli linguistici. I ricercatori hanno formalizzato la ridondanza come la frazione di passaggi finali segmentati che possono essere troncati mentre il modello produce ancora la risposta corretta. Attraverso quattro modelli di ragionamento all'avanguardia e due benchmark matematici, la ridondanza a livello di passaggio variava dal 61% al 93%, con una mediana del 78%. Il lavoro fornisce la prima misurazione su larga scala e spiegazione teorica della ridondanza del ragionamento, evidenziando inefficienze nei processi di catena di pensiero che comportano alta latenza, tempo GPU e costi energetici.
Fatti principali
- Lo studio misura la ridondanza nelle tracce di ragionamento LLM su larga scala
- La ridondanza è definita come la frazione di passaggi finali che possono essere troncati senza alterare la correttezza
- Quattro modelli di ragionamento all'avanguardia testati su due benchmark matematici
- Ridondanza a livello di passaggio tra il 61% e il 93%
- La mediana della ridondanza tra le condizioni è del 78%
- Prima quantificazione su larga scala della ridondanza del ragionamento
- Evidenzia inefficienze nel ragionamento a catena di pensiero
- Pubblicato su arXiv con ID 2605.23926
Entità
Istituzioni
- arXiv