I Grandi Modelli di Ragionamento Non Riescono ad Astenersi Quando le Informazioni Sono Insufficienti
Un recente studio pubblicato su arXiv (2605.28070) scopre una significativa modalità di fallimento nei grandi modelli di ragionamento: quando si trovano di fronte a domande che non forniscono informazioni sufficienti, questi modelli spesso riconoscono la mancanza di dati ma continuano a ragionare, portando a risposte non supportate invece di optare per l'astensione. I ricercatori definiscono questo problema il "gap tra rilevamento e astensione". Questo gap è particolarmente preoccupante in aree critiche come l'IA medica, dove risposte incomplete possono essere più dannose del semplice rifiuto di rispondere. Per mitigare questo problema, gli autori introducono Judge-Then-Solve (JTS), un framework di controllo del ragionamento che incoraggia i modelli a impegnarsi sulla rispondibilità prima della generazione della soluzione, trattando l'astensione come un punto decisionale. JTS è implementato attraverso l'apprendimento supervisionato, con l'obiettivo di migliorare l'affidabilità dei modelli di ragionamento in situazioni incerte.
Fatti principali
- L'articolo arXiv 2605.28070 identifica una modalità di fallimento nei grandi modelli di ragionamento in condizioni di informazioni insufficienti.
- I modelli rilevano informazioni insufficienti ma producono comunque risposte non supportate invece di astenersi.
- Il gap tra rilevamento e astensione è la discrepanza tra il rilevamento dell'insufficienza e l'effettiva astensione.
- Questo gap è particolarmente pericoloso in domini ad alto rischio come l'IA medica.
- La soluzione proposta è Judge-Then-Solve (JTS), un framework di controllo del ragionamento a livello di traiettoria.
- JTS addestra i modelli a prendere un impegno esplicito sulla rispondibilità prima della generazione della soluzione.
- L'astensione è trattata come una decisione di controllo, non come uno stile di risposta finale.
- Il modello risolve o termina anticipatamente in base al suo giudizio di rispondibilità.
Entità
Istituzioni
- arXiv