La valutazione dell'IA dovrebbe misurare il costo di verifica, non solo la correttezza

Uno studio recente pubblicato su arXiv (2608.08709) sostiene che le metriche esistenti per valutare i modelli generativi di IA sono inadeguate, principalmente perché danno priorità all'accuratezza dei risultati trascurando i costi di verifica associati a tali risultati. I ricercatori introducono il termine Errori di Costo di Verifica (VCEs), che si riferiscono a coppie input-output errate che una certa percentuale di verificatori non riesce a rilevare entro un budget di verifica specificato. A differenza delle allucinazioni tipiche, i VCEs sono caratterizzati dall'incapacità di identificare correttamente gli output entro i vincoli di budget piuttosto che dalle caratteristiche degli output stessi. L'articolo suggerisce che i costi di verifica in relazione ai budget di implementazione rappresentano un aspetto operativo spesso trascurato nelle valutazioni attuali, indicando la necessità di rivalutare come vengono giudicati i modelli di IA, concentrandosi sulle sfide pratiche di verifica piuttosto che solo sulla correttezza.