La ricerca rivela che il potenziamento del ragionamento dei LLM aumenta le allucinazioni sugli strumenti

Un nuovo studio pubblicato su arXiv (ID: 2510.22977v2) indaga se il rafforzamento delle capacità di ragionamento dei Large Language Model (LLM) causi direttamente un aumento delle allucinazioni sugli strumenti. Questa ricerca affronta un paradosso osservato in sistemi come l'o3 di OpenAI, dove un ragionamento migliorato spesso coincide con allucinazioni più frequenti, ma nessun lavoro precedente aveva esaminato sistematicamente questo nesso causale. Per rispondere a questa domanda centrale, i ricercatori hanno introdotto SimpleToolHalluBench, un benchmark diagnostico progettato per misurare le allucinazioni sugli strumenti in due modalità specifiche di fallimento: quando non è disponibile alcuno strumento appropriato e quando sono presenti solo strumenti distrattori. Attraverso esperimenti controllati, lo studio ha stabilito tre risultati chiave. In primo luogo, ha dimostrato una relazione causale: il progressivo potenziamento del ragionamento attraverso il reinforcement learning (RL) aumenta le allucinazioni sugli strumenti in proporzione ai guadagni nelle prestazioni del compito. In secondo luogo, questo effetto trascende il semplice overfitting, indicando un problema più fondamentale. La ricerca si concentra specificamente sul contesto della costruzione di Agenti AI che seguono un paradigma "pensa poi agisci", dove l'uso accurato degli strumenti è fondamentale. I risultati suggeriscono che le attuali strategie per migliorare il ragionamento dei LLM potrebbero amplificare involontariamente un significativo problema di affidabilità nei sistemi agentici. Il documento è stato annunciato come una sostituzione incrociata su arXiv, indicando una versione aggiornata di un lavoro precedente.