AIR-BENCH Live: Benchmark di sicurezza auto-evolutivo per modelli foundation

AIR-BENCH Live è un benchmark di sicurezza auto-evolutivo per modelli foundation, presentato come successore di AIR-BENCH 2024. Dispone di un pipeline automatizzato che monitora le normative governative e aggiorna di conseguenza la propria tassonomia dei rischi. Il sistema classifica le nuove politiche rispetto a una tassonomia dei rischi a quattro livelli, proponendo nuove categorie granulari quando necessario. Un algoritmo di generazione di prompt multi-agente e basato su persona crea prompt realistici e multilingue con un minimo intervento umano. La versione attuale ha ampliato il benchmark da 314 a 335 rischi granulari, aggiungendo 21 nuove categorie. Ciò affronta il problema che i benchmark statici diventano obsoleti man mano che i modelli migliorano e la legislazione sulla sicurezza dell'IA evolve.