Attribuzione di Confidenza a Passi per Diagnosticare Fallimenti nel Ragionamento degli LLM

Un nuovo framework chiamato Attribuzione di Confidenza a Passi (SCA) diagnostica dove il ragionamento multi-step fallisce nei modelli linguistici di grandi dimensioni (LLM) a scatola nera, assegnando confidenza a ogni passo basandosi esclusivamente sulle tracce di ragionamento generate. SCA applica il principio del Collo di Bottiglia Informativo (IB): i passi che si allineano con il consenso tra soluzioni corrette ottengono alta confidenza, mentre le deviazioni vengono segnalate. Vengono proposti due metodi: NIBS (IB non parametrico senza strutture grafiche) e GIBS (IB basato su grafi che apprende sottografi tramite maschera differenziabile). L'approccio funziona per LLM closed-source senza accesso interno, superando le limitazioni dei metodi esistenti che stimano la confidenza solo per le risposte finali o richiedono accesso ai meccanismi interni.