La giurisdizione basata su registro delle prove migliora la tracciabilità delle rivendicazioni nell'IA

Una recente pubblicazione su arXiv presenta un approccio innovativo chiamato giurisdizione basata su registro delle prove, che collega ogni affermazione generata dall'IA a un corrispondente pacchetto di prove, stabilisce una relazione di supporto e rinvia le affermazioni non supportate, contraddittorie o con prove miste all'autore originale. La base empirica dello studio consiste in un benchmark cieco con 2.335 righe, derivato da etichette esterne indipendenti in AVeriTeC, CLIMATE-FEVER e SciFact. Durante la previsione, le relazioni gold e le etichette delle prove sorgente rimangono nascoste e vengono rivelate solo ai fini del punteggio. In questo benchmark, la condizione di agente con registro delle prove raggiunge un'accuratezza delle relazioni di 0,676 e un punteggio macro-F1 di 0,601, superando la migliore baseline non agente, che ha un'accuratezza di 0,383 e un macro-F1 di 0,303. Inoltre, instrada con successo 1.270 su 1.435 affermazioni che indicano contraddizione, mancanza o prove miste, gestendo 295 su 900 affermazioni supportate. Questi risultati dimostrano che la giurisdizione basata su registro delle prove migliora sia la tracciabilità che l'accuratezza nella verifica delle affermazioni rispetto alle prove.