Limite Teorico dell'Informazione nel Ragionamento Multi-Step degli LLM

Uno studio recente pubblicato su arXiv (2605.01704) rivela una debolezza critica nel ragionamento multi-step all'interno di sistemi chiusi di grandi modelli linguistici. Quando modelli identici si impegnano in un dibattito, generano espressioni variate di un unico punto di vista invece di opinioni autenticamente diverse, mantenendo l'accuratezza ma minando la qualità del ragionamento. I ricercatori hanno definito questo fenomeno la Trappola del Dibattito, con il problema generale etichettato come Trappola del Ragionamento. Introducono un quadro teorico per i fallimenti del ragionamento basato sull'evidenza, composto da tre elementi: (i) SFS (Supported Faithfulness Score), una metrica che valuta le affermazioni atomiche rispetto all'evidenza, ottenendo classifiche coerenti con Spearman rho=1.0; (ii) EGSR (Evidence-Grounded Socratic Reasoning), che passa dal dibattito avversario a un interrogatorio basato sull'evidenza; e (iii) Teorema 1 (Limite DPI), che dimostra che il dibattito multi-agente standard porta a catene di Markov, limitando così il trasferimento di informazioni dall'evidenza ai risultati. Lo studio offre approfondimenti sul declino del ragionamento in sistemi chiusi e suggerisce metriche e strategie per affrontare il problema.