Il Test-Time Scaling Non Migliora l'Accuratezza nei Compiti ad Alta Intensità di Conoscenza
Un recente articolo su arXiv (paper 2509.06861) mette in discussione l'utilità del test-time scaling nei modelli di ragionamento per compiti che richiedono una conoscenza estesa. Questo studio valuta 14 modelli di ragionamento utilizzando diverse tecniche di test-time scaling e rivela che aumentare la computazione durante l'inferenza non migliora in modo affidabile l'accuratezza; anzi, spesso porta a più allucinazioni. I ricercatori notano che catene di ragionamento più lunghe portano a più tentativi, molti dei quali errati, e che un ragionamento prolungato può consolidare le prime false convinzioni con dettagli inventati, allineandosi con il bias di conferma. La ricerca offre una prospettiva teorica dell'informazione sui limiti del test-time scaling per compiti a libro chiuso ad alta intensità di conoscenza, nonostante la sua efficacia in altre aree. L'articolo è stato annunciato come una sostituzione su arXiv, sottolineando la necessità di rivalutare i benefici della computazione extra in questi scenari.
Fatti principali
- Lo studio valuta 14 modelli di ragionamento sotto diverse strategie di test-time scaling.
- L'aumento della computazione test-time non migliora costantemente l'accuratezza.
- Un ragionamento più lungo spesso porta a più allucinazioni.
- I cambiamenti nei tassi di allucinazione sono guidati dalla volontà del modello di rispondere.
- Un ragionamento prolungato può rafforzare le prime convinzioni errate con dettagli fabbricati.
- L'articolo fornisce una prospettiva teorica dell'informazione.
- L'articolo è disponibile su arXiv con ID 2509.06861.
- Lo studio si concentra su compiti a libro chiuso ad alta intensità di conoscenza.
Entità
Istituzioni
- arXiv