Anthropic e OpenAI propongono l'integrazione di valutatori indipendenti per la sicurezza, ma i dettagli restano poco chiari

Fatti principali

• Il CEO di Anthropic, Dario Amodei, ha proposto l'integrazione di valutatori indipendenti all'interno di tutte le aziende di IA all'avanguardia in un saggio pubblicato nel fine settimana.
• Anthropic si è impegnata a concedere a valutatori indipendenti come METR e Redwood Research un accesso senza precedenti ai propri sistemi.
• Il CEO di OpenAI, Sam Altman, ha dichiarato che anche OpenAI si impegnerà in questa pratica.
• I valutatori desiderano accesso ai checkpoint intermedi di addestramento, agli ambienti post-addestramento, ai trascritti delle valutazioni e alle interviste con i dipendenti.
• Né Anthropic né OpenAI hanno reso noto con quali valutatori collaboreranno, quando saranno integrati, quanti saranno, a quali sistemi potranno accedere o cosa potrà essere divulgato pubblicamente.
• Durante l'incidente di Hugging Face, OpenAI ha concesso a METR e Redwood circa una settimana in sede per indagare.
• Per GPT-6 Astra, ad Apollo Research sono stati concessi solo tre giorni per testare il modello.
• La legge californiana SB 53 richiede ai grandi sviluppatori di IA all'avanguardia di pubblicare quadri di sicurezza e segnalare incidenti critici di sicurezza.
• La legge californiana SB 813 crea un quadro per organizzazioni di verifica indipendenti riconosciute dallo stato.
• L'AI Act dell'UE richiede agli sviluppatori all'avanguardia di condurre e documentare valutazioni dei modelli e test adversariali e di segnalare incidenti gravi.