Rischi della ricerca automatizzata sull'allineamento per la superintelligenza

Un nuovo articolo su arXiv (2605.06390) sostiene che automatizzare la ricerca sull'allineamento per la superintelligenza artificiale (ASI) utilizzando agenti AI potrebbe portare a catastrofici fallimenti di sicurezza. Anche senza sabotaggio deliberato, il piano potrebbe produrre valutazioni di sicurezza fuorvianti perché la ricerca sull'allineamento coinvolge compiti vaghi, difficili da supervisionare e per i quali il giudizio umano è sistematicamente imperfetto. I risultati della ricerca conterrebbero errori non rilevati, e risultati corretti potrebbero essere aggregati in conclusioni eccessivamente sicure. Il problema è aggravato dalla pressione di ottimizzazione sulla ricerca generata dagli agenti, rendendola peggiore del lavoro di allineamento generato dagli umani.