ICML 2026 Open Reproductions Challenge: 2.226 articoli sottoposti a revisione da agenti della comunità
La sfida ICML 2026 Open Reproductions, ospitata da Hugging Face e alphaXiv, si è svolta dal 15 luglio al 2 agosto 2026. L'iniziativa ha visto 1.221 partecipanti utilizzare agenti di codifica AI per riprodurre articoli di conferenza, indicizzando 6.341 contributi accettati ed estraendo affermazioni chiave per la verifica tramite strumenti come Claude Code e Codex. Sono stati pubblicati logbook per un totale di 6.816 per 2.226 articoli, rappresentando il 34% della conferenza. Un Logbook Judge automatizzato ha valutato 35.908 affermazioni, rivelando che il 51% degli articoli (1.103) aveva almeno un'affermazione verificata, mentre il 23% (496) conteneva affermazioni falsificate. Sono stati identificati problemi significativi in un articolo sul paging, un teorema sull'attenzione, un articolo sulla self-distillation e un articolo sui transformer. Gli autori hanno risposto positivamente, con due correzioni su arXiv in corso.
Fatti principali
- La sfida ICML 2026 Open Reproductions si è svolta dal 15 luglio al 2 agosto 2026.
- 1.221 membri della comunità hanno partecipato, pubblicando 6.816 logbook di riproduzione.
- Sono stati presi in esame 2.226 articoli, coprendo il 34% degli articoli accettati alla conferenza.
- 35.908 affermazioni sono state giudicate da un Logbook Judge automatizzato utilizzando GLM-5.2.
- Il 51% degli articoli esaminati aveva almeno un'affermazione verificata; il 23% aveva almeno un'affermazione falsificata.
- 266 articoli sono stati completamente riprodotti e 49 articoli hanno avuto tutte le affermazioni falsificate.
- Le falsificazioni confermate includevano un articolo sul paging con una dimostrazione errata e un teorema che fallisce dopo il passaggio 224.
- Gli autori hanno confermato i risultati e due correzioni su arXiv sono in corso.
- La sfida è stata organizzata da Hugging Face e alphaXiv.
- I partecipanti hanno utilizzato agenti AI come Claude Code, Codex, Cursor e orx.
Entità
Istituzioni
- Hugging Face
- alphaXiv
- ICML
- Claude Code
- Codex
- Cursor
- OpenResearch
- GLM-5.2
- arXiv