La fiducia prematura negli LLM predice un ragionamento errato
Un recente studio pubblicato su arXiv (2605.24396) evidenzia la fiducia prematura come un indicatore significativo di scarso ragionamento nei modelli linguistici di grandi dimensioni. I ricercatori hanno osservato che questi modelli spesso si stabiliscono su una risposta troppo presto, utilizzando successivamente i token rimanenti per giustificare la loro scelta, il che diminuisce i vantaggi del ragionamento a catena di pensiero prolungato. Per affrontare questo problema, suggeriscono di implementare la modellazione progressiva della fiducia, un obiettivo di apprendimento per rinforzo che incoraggia i modelli ad adattare gradualmente i loro livelli di fiducia invece di prendere impegni affrettati. Questo approccio migliora sia l'accuratezza che la qualità del ragionamento in varie dimensioni del modello, da 1,5B a 8B parametri, senza la necessità di etichette esterne o sistemi di ricompensa.
Fatti principali
- La fiducia prematura predice un ragionamento errato in diversi compiti e scale di modello.
- La modellazione progressiva della fiducia è un obiettivo di apprendimento per rinforzo.
- Il metodo migliora l'accuratezza e la qualità del ragionamento da 1,5B a 8B parametri.
- Non sono necessarie etichette esterne o modelli di ricompensa.
- Le lunghe catene di pensiero spesso contengono lacune logiche.
- Le annotazioni a livello di passo per i modelli di ricompensa di processo sono costose.
- L'evoluzione della fiducia durante il ragionamento viene utilizzata come segnale.
- Il metodo premia la crescita graduale della fiducia e penalizza l'impegno precoce.
Entità
Istituzioni
- arXiv