I modelli di ragionamento non riescono ad allocare il calcolo a tempo di test tra le domande

Un nuovo articolo arXiv (2608.07968) introduce un framework di valutazione in stile esame per studiare come i modelli linguistici di ragionamento distribuiscono un budget di token condiviso tra più domande con diversi livelli di difficoltà e punteggi. Lo studio rileva che i modelli, inclusi diversi modelli di ragionamento open e all'avanguardia, non riescono a distribuire strategicamente il calcolo, comportandosi invece come risolutori sequenziali greedy che danno priorità all'ordine di presentazione e concentrano gli sforzi sulle prime domande, rimanendo insensibili al valore. Queste tendenze diventano più pronunciate all'aumentare del numero di domande. La ricerca evidenzia una limitazione significativa nella capacità dei modelli di ragionamento attuali di gestire vincoli di costo o latenza end-to-end quando risolvono più problemi.