ResearchLoop: Un Piano di Controllo Basato su Evidenze per la Ricerca Assistita dall'IA

Un recente rapporto tecnico presenta ResearchLoop, un piano di controllo che utilizza il gating basato su evidenze per mitigare i rischi di pubblicazione nella ricerca computazionale guidata dall'IA. Questo sistema innovativo categorizza domande di ricerca, accordi sui compiti, elementi di evidenza, registri di affermazioni, chiusure di progetti e legami con articoli come stati di progetto stabili, funzionando come un runtime supportato da un repository. Il rapporto include specifiche dettagliate del protocollo, del modello di stato, delle linee guida per le transizioni, dell'algoritmo di ammissione delle affermazioni e del processo di compounding delle intuizioni. Presenta inoltre una documentazione sperimentale completa che copre nove versioni (V0–V9), con un caso studio di self-hosting, un'analisi controllata di suite di compiti con ablazioni di componenti, una valutazione di olimpiadi matematiche e un esperimento supplementare al confine SciCode. Questa iniziativa affronta la fusione di ideazione, esecuzione, valutazione e preparazione del manoscritto in un unico ciclo interattivo, complicando la verifica delle affermazioni degli articoli.