Valutazione Sistematica degli Agenti AI per la Ricerca a Lungo Orizzonte

Un recente articolo su arXiv (2608.13417) fornisce una valutazione completa di sette modelli AI avanzati su 36 compiti a lungo termine, utilizzando un framework innovativo che va oltre i semplici punteggi finali per analizzare il comportamento durante le esecuzioni. Questo framework impiega metriche basate su regole per valutare la Formulazione della Soluzione, l'Esecuzione e il Controllo del Feedback, insieme a confronti controllati per esaminare il riutilizzo dell'esperienza all'interno e tra i compiti. I risultati rivelano che gli agenti esistenti funzionano più come ottimizzatori ingegneristici che come ricercatori indipendenti; possono ideare ed eseguire soluzioni efficaci, ma le loro prestazioni fluttuano significativamente tra diverse esecuzioni, affidandosi principalmente all'adattamento di conoscenze precedenti piuttosto che alla creazione di strategie originali. Lo studio sottolinea la necessità di tecniche di valutazione che riflettano le dinamiche della sperimentazione a lungo termine, poiché i punteggi finali non indicano le aree di progresso o di regressione. Gli autori non nominati dell'articolo suggeriscono che, sebbene gli agenti AI possano affrontare compiti pratici, non possiedono l'autonomia e l'affidabilità dei ricercatori umani. Il framework proposto potrebbe fungere da standard per valutazioni future, evidenziando l'importanza di metriche orientate al processo nella valutazione delle capacità dell'AI.