Uno studio di Princeton mette in discussione le tempistiche dell'auto-miglioramento dell'IA
Risultati recenti dell'Università di Princeton suggeriscono che le aspettative del settore dell'IA riguardo all'auto-miglioramento ricorsivo potrebbero essere troppo ottimistiche. Un team di ricerca, guidato da Peter Kirgis e Sayash Kapoor, ha valutato Claude Opus 4.8 di Anthropic utilizzando domande di ricerca aperte tratte da documenti non pubblicati di NeurIPS 2026. Nonostante l'allocazione di 3.000 dollari in crediti API e sei giorni di risorse, l'IA non è stata in grado di completare compiti di ricerca fondamentali, producendo esperimenti senza senso e scrittura poco chiara. Ha mostrato difficoltà nella creatività, nel giudizio e nella gestione delle risorse. Lo studio ha impiegato un approccio di 'valutazione ombra' per misurare le capacità di ricerca aperta, sebbene abbia incontrato limitazioni, tra cui la dipendenza da soli due documenti e un possibile bias dei valutatori. Jack Clark ha osservato che il deficit di creatività dell'IA segnala una prospettiva negativa per le tempistiche di auto-miglioramento, in contrasto con le affermazioni di Anthropic e OpenAI riguardo ai progressi dell'IA.
Fatti principali
- I ricercatori dell'Università di Princeton, guidati da Peter Kirgis e Sayash Kapoor, hanno testato la capacità degli agenti IA di condurre ricerche aperte.
- Lo studio ha utilizzato un metodo di 'valutazione ombra' basato su due documenti non pubblicati sottoposti a NeurIPS 2026.
- A Claude Opus 4.8 di Anthropic sono stati concessi sei giorni, 3.000 dollari in crediti API, budget GPU, computer virtuali e accesso al web.
- Gli autori originali hanno respinto entrambi i documenti generati dall'IA come al di sotto della qualità di una conferenza IA di alto livello.
- Gli agenti IA potevano risolvere problemi ingegneristici ma mancavano di giudizio e creatività per la ricerca originale.
- Gli agenti non sono stati in grado di incorporare feedback, tornare indietro da approcci fallimentari o gestire le risorse in modo efficace.
- Il team prevede di testare il modello Mythos di Anthropic, ora limitato dai requisiti di sicurezza dell'amministrazione Trump.
- Jack Clark ha definito la mancanza di creatività dell'IA un 'segnale ribassista' per le brevi tempistiche di auto-miglioramento ricorsivo.
Entità
Artisti
- Peter Kirgis
- Sayash Kapoor
- Najoung Kim
- Jack Clark
Istituzioni
- Princeton University
- Anthropic
- OpenAI
- NeurIPS
- Boston University
- Trump administration
- Import AI
Luoghi
- Boston
- Princeton
- United States