Quantificazione dell'incertezza adattata alla traiettoria per agenti LLM

Un recente preprint su arXiv (2608.11552) esplora l'applicazione di tecniche di quantificazione dell'incertezza (UQ) a turno singolo a interazioni multi-turno che coinvolgono modelli linguistici di grandi dimensioni (LLM). La ricerca valuta tre metodologie UQ: scorer white-box che analizzano le probabilità dei token di azione, scorer di coerenza black-box basati su dati ricampionati e scorer riflessivi che dipendono dall'autovalutazione del modello. Lo studio esamina cinque LLM e quattro dataset da BFCL-v4 e τ²-bench. I risultati rivelano che, sebbene questi metodi possano essere utili, potrebbero non essere sempre affidabili; di conseguenza, approcci UQ su misura sono essenziali per gestire efficacemente gli errori decisionali degli LLM.