AcquaBench verifica la provenienza del successo nella valutazione degli agenti AI

Un recente preprint su arXiv (2607.24054) presenta AcquaBench, uno strumento di benchmarking volto a valutare la provenienza del successo degli agenti. I ricercatori sostengono che risposte corrette possono mascherare se il successo di un agente derivi da un ragionamento intenzionale o dall'ottenimento di informazioni rilevanti durante il processo di valutazione. AcquaBench impiega sostituzioni di valori abbinate—CLEAN, GOLD e SHAM—su quattro superfici standardizzate, utilizzando un'analisi congiunta clusterizzata per qid. CLEAN mantiene i dati approvati dal benchmark, GOLD fornisce il target corretto e SHAM mantiene la struttura della fonte sostituendola con un valore errato. La differenza di punteggio tra GOLD e CLEAN valuta l'impatto della disponibilità del target corretto, mentre la differenza tra GOLD e SHAM esamina se questa risposta rifletta la correttezza del target al di là della mera esposizione. Nell'esperimento D0, GOLD ha superato SHAM di 19,1-25,9 punti percentuali, suggerendo che il successo è spesso contingente alla disponibilità del target piuttosto che al ragionamento.