Valutazioni ombra testano agenti AI su ricerca aperta
Un nuovo metodo chiamato valutazioni ombra misura la capacità degli agenti AI di condurre ricerca AI aperta. In due casi studio, agenti avanzati hanno ricevuto sei giorni e migliaia di dollari di potenza di calcolo per affrontare le domande di ricerca centrali di due articoli non pubblicati di NeurIPS 2026. Gli autori originali hanno valutato l'output. Mentre gli agenti hanno completato tutti i compiti ingegneristici senza aiuto umano, non sono riusciti a fare progressi sostanziali sulle domande di ricerca. Lo studio introduce le valutazioni ombra come terza via per misurare i progressi verso l'automazione della ricerca e sviluppo AI, evitando i limiti di compiti verificabili ristretti o revisioni paritarie inaffidabili.
Fatti principali
- Le valutazioni ombra sono un nuovo metodo per misurare l'automazione della ricerca AI.
- Due articoli non pubblicati di NeurIPS 2026 sono stati usati come casi di test.
- Gli agenti avanzati hanno avuto sei giorni e migliaia di dollari di potenza di calcolo.
- Gli agenti hanno completato tutta l'ingegneria senza aiuto umano.
- Gli agenti non sono riusciti a fare progressi sostanziali sulle domande di ricerca.
- Gli autori originali hanno valutato l'output degli agenti.
- Le valutazioni ombra evitano compiti ristretti e revisioni paritarie inaffidabili.
- Lo studio proviene da arXiv:2607.27191.
Entità
Istituzioni
- NeurIPS