AutoReproduce: Framework AI automatizza la riproduzione di articoli di ricerca

I ricercatori hanno presentato AutoReproduce, un framework multi-agente che riproduce autonomamente il codice sperimentale da articoli di ricerca. Il sistema utilizza un nuovo algoritmo di 'lineage dell'articolo' per estrarre conoscenza implicita dalla letteratura citata, consentendo la riproduzione end-to-end del codice. Una strategia di test unitario basata su campionamento garantisce l'eseguibilità. Il team ha anche sviluppato un benchmark chiamato AutoBench con implementazioni verificate e metriche per valutare la fedeltà di riproduzione ed esecuzione. Le valutazioni su PaperBench e AutoBench mostrano che AutoReproduce supera costantemente i metodi esistenti. Il lavoro mira ad affrontare la natura laboriosa della riproduzione di metodi di ricerca sempre più complessi.