Replica: Uno Spazio di Compiti Scalabile per la Replica di Articoli Scientifici con l'Agente AI Faraday

Un recente articolo su arXiv (ID: 2608.13331) presenta Replica, uno spazio di compiti scalabile volto a duplicare studi scientifici. Questa iniziativa affronta la crisi della replicabilità nella scienza offrendo un quadro strutturato per valutare se gli agenti AI possono riprodurre i risultati della ricerca. Per misurare l'accuratezza della replica, gli autori hanno creato un giudice basato su rubriche che riduce il rumore e corrisponde bene alle valutazioni umane. Hanno anche ottimizzato Faraday, un agente AI Scientist con 27 miliardi di parametri, che utilizza agenti di codifica come strumenti. Faraday ha superato Claude Opus 4.8 e GPT-5.5 nei compiti di replica. La revisione qualitativa dei singoli rollout mostra che Faraday impiega un metodo più scientificamente rigoroso rispetto ai modelli attuali. Questa ricerca, presentata come sottomissione di tipo incrociato, sottolinea il ruolo critico della replica nella validazione dei risultati scientifici e getta le basi per esperimenti futuri.