Benchmark sull'IA criticati per non misurare la cognizione simile a quella umana

Uno studio recente pubblicato su arXiv il 28 febbraio 2025 critica i framework di valutazione esistenti per l'IA, sostenendo che non riescono a misurare le capacità cognitive simili a quelle umane. Gli autori evidenziano diverse questioni significative, tra cui l'assenza di etichette validate da esseri umani, una rappresentazione insufficiente della variabilità e dell'incertezza umana nelle risposte, e una dipendenza da compiti eccessivamente semplicistici ed ecologicamente non validi. Hanno condotto un'analisi di valutazione umana su nove benchmark attuali di IA, scoprendo difetti sostanziali sia nella progettazione dei compiti che delle etichette. L'articolo propone cinque raccomandazioni specifiche volte a migliorare i processi di valutazione futuri dell'IA, puntando in ultima analisi a una comprensione più profonda e accurata della somiglianza dell'IA con le funzioni cognitive umane. Questa ricerca è cruciale per l'industria tecnologica dell'IA, poiché mette in discussione l'affidabilità dei benchmark esistenti e sostiene metodi di valutazione migliori.