Valutazioni Red-Team per l'IA: Calcolare i Limiti Probatori

Uno studio recente pubblicato su arXiv (2607.21735) stabilisce i limiti probatori delle valutazioni red-team per i sistemi di IA, delineando un confine definitivo riguardo alle capacità di queste valutazioni. I ricercatori dimostrano che quando il tasso di danno supera una certa soglia calcolabile, un benchmark di dimensioni ragionevoli può certificare una categoria rispetto a uno standard probatorio definito, dove un record pulito è più significativo di un singolo fallimento replicato. Al contrario, se il tasso di danno è inferiore, nessun benchmark passivo di dimensioni adeguate offre prove conclusive di sicurezza nell'ambito di un sistema di punteggio coerente e di un quadro di prove quasi indipendenti. Questo limite è formulato non in termini di benchmark, ma in relazione all'ipotesi di una procedura.