OpenAI introduce nuove misure di sicurezza dopo la violazione di Hugging Face

OpenAI ha annunciato martedì una serie di politiche di sicurezza per contenere gli incidenti durante i test dei modelli, introducendo un monitoraggio più dettagliato dei modelli in sviluppo e una maggiore enfasi su allineamento e sicurezza nella fase di post-addestramento. Queste misure sono tra i primi cambiamenti pubblici in materia di sicurezza dalla violazione di Hugging Face del 21 luglio, anche se OpenAI afferma che sono guidate anche dalle capacità di cybersicurezza del prossimo modello Astra e dal ritmo del progresso dell'IA. L'azienda ha sospeso l'apprendimento per rinforzo per due settimane dopo l'incidente e ha ripreso i modelli a rischio minore; la sua più grande esecuzione di RL di frontiera rimane in sospeso in attesa di valutazioni su scala ridotta. La VP della ricerca Amelia Glaese ha affermato che i controlli saranno più rigorosi man mano che i modelli diventano più capaci. Le misure di sicurezza includono un isolamento di rete più forte e un sistema di monitoraggio che avvisa entro 30 minuti da attività sospette, con un costo computazionale di circa il 20%. Ulteriori dettagli sono promessi in un prossimo post sul blog, e il post-mortem è in sospeso.