Articolo su arXiv Propone un Audit a Due Facce per le Affermazioni Scientifiche dell'IA

Un nuovo studio appena pubblicato su arXiv (2608.00981) introduce un metodo di audit a due punte per valutare come i sistemi di IA auto-miglioranti affermano di migliorare la ricerca scientifica. I ricercatori sostengono che le metriche tipiche—come le differenze nei benchmark e i p-value—non distinguono realmente il progresso autentico dal semplice rumore causato da fattori come ricerche aggiuntive o modifiche a oracoli inaffidabili. È interessante notare che hanno scoperto che un certo tipo di oracolo non può rappresentare accuratamente una coppia di basi incrociata, limitando l'efficacia del verificatore precedente. Hanno scoperto che un oracolo difettoso può gonfiare le affermazioni di capacità, con un operatore specifico che riesce su 43 dei 60 target di RNA utilizzando il suo predittore ottimizzato, rispetto a nessuno con un modello standard. Lo studio sottolinea la necessità di una validazione attenta nella scoperta scientifica guidata dall'IA.