I punteggi di valutazione dell'IA agentica risultano sistematicamente inaffidabili in un nuovo studio

Uno studio empirico recente pubblicato su arXiv (paper 2608.00794) indica che i benchmark automatizzati utilizzati per valutare i sistemi di IA agentica sono considerevolmente meno affidabili di quanto riconosciuto in precedenza. La ricerca evidenzia tre livelli interconnessi di problemi di affidabilità. Inizialmente, i compiti sono sempre più prodotti da modelli linguistici; le verifiche di dieci benchmark ampiamente utilizzati hanno rivelato problemi di validità in sette e carenze di segnalazione in tutti e dieci. Successivamente, gli utenti umani vengono sostituiti con simulatori LLM, ma gli studi di calibrazione mostrano discrepanze tra simulatori fino a 9 punti percentuali e una costante errata calibrazione, specialmente per i parlanti di inglese americano non standard. Infine, una revisione strutturata di 55 articoli indica che circa l'82% utilizza metriche di affidabilità inter-valutatore (IRR) che sono o non corrispondenti, incomplete o mancanti. Queste carenze si moltiplicano piuttosto che semplicemente sommarsi, risultando in un'affidabilità complessiva dei punteggi di valutazione significativamente inferiore a quanto implicano le metriche individuali. Le implicazioni di questi risultati sono critiche per le decisioni di implementazione, le certificazioni di sicurezza e la conformità normativa che dipendono da queste valutazioni. L'articolo è stato introdotto come nuova sottomissione su arXiv, con l'abstract che delinea la metodologia e i risultati, sottolineando l'urgente necessità di pratiche di valutazione più rigorose nel dominio in rapida evoluzione dell'IA agentica.