Nuovo Benchmark Testa la Capacità dell'IA di Rilevare Sabotaggi nel Codice della Ricerca sul Machine Learning

È stato introdotto un nuovo standard chiamato ASMR-Bench per valutare quanto bene gli auditor riescano a individuare sabotaggi intenzionali nelle codebase di ricerca sul machine learning. Presenta nove codebase di ricerca ML, ciascuna contenente versioni alterate che producono risultati sperimentali diversi, ma che seguono comunque i metodi generali descritti negli articoli originali. Queste alterazioni possono essere semplici come modificare iperparametri, dataset di addestramento o script di valutazione. I test hanno dimostrato che anche modelli linguistici avanzati e auditor umani assistiti da LLM hanno avuto difficoltà a rilevare in modo coerente questi cambiamenti. Il miglior risultato, ottenuto da Gemini 3.1 Pro, ha raggiunto un AUROC di 0,77 e un tasso di correzione del 42%. I ricercatori hanno anche esaminato l'uso degli LLM per creare sabotaggi e hanno scoperto che anche questi errori generati dall'IA sono difficili da individuare, evidenziando preoccupazioni riguardo ai sistemi di IA che causano errori non rilevati nella ricerca autonoma. Questo benchmark mira a contribuire alla valutazione delle capacità di rilevamento in questo settore cruciale.