I Benchmark dell'IA come Strumenti di Ingiustizia Strutturale

Uno studio recente pubblicato su arXiv (2608.15326) sostiene che i benchmark dell'IA non funzionano come strumenti di valutazione imparziali, ma come costrutti socio-tecnici che influenzano competizione, autorità e focus della ricerca. La ricerca, condotta da studiosi non nominati, utilizza i concetti di oppressione e ingiustizia strutturale di Iris Marion Young per criticare i metodi di benchmarking attuali. Suggerisce che queste pratiche possano rafforzare danni sistemici, riflettendo quattro delle 'facce dell'oppressione' identificate da Young. Gli autori affermano che la cultura del benchmarking contribuisce all'ingiustizia strutturale, poiché gli effetti dannosi derivano da pratiche normalizzate e dinamiche di rete. Il documento sottolinea che i benchmark creano valutazioni standardizzate, portando a classifiche che conferiscono prestigio, citazioni, fiducia e potere istituzionale ai migliori performer. Con l'aumento dei costi per lo sviluppo dell'IA, questi riconoscimenti si concentrano tra laboratori influenti e finanziati dall'industria, peggiorando le disparità. Il documento, classificato come 'nuovo', non offre soluzioni ma inquadra il benchmarking come una sfida strutturale, contribuendo alle discussioni in corso su equità e potere nell'IA, in particolare per artisti e organizzazioni culturali che lavorano con tecnologie di IA.