Il Modello AI SIREN Rileva Contenuti Dannosi Utilizzando Rappresentazioni Interne di LLM
Un nuovo modello di sicurezza AI chiamato SIREN è stato introdotto per identificare contenuti dannosi all'interno dei grandi modelli linguistici esaminando le rappresentazioni interne invece di concentrarsi esclusivamente sugli output finali. Questo efficiente modello di guardia rileva neuroni legati alla sicurezza attraverso vari strati interni mediante linear probing e li integra utilizzando un metodo adattivo di ponderazione degli strati. SIREN funziona senza alterare l'architettura originale del LLM, garantendo un approccio di sicurezza non invasivo. Valutazioni estensive rivelano che SIREN supera significativamente i modelli di guardia open-source esistenti in numerosi benchmark, utilizzando 250 volte meno parametri addestrabili. Il modello mostra una migliore generalizzazione su benchmark non visti e facilita il rilevamento in tempo reale dello streaming. Questa ricerca, dettagliata in arXiv:2604.18519v1, affronta le carenze degli attuali modelli di guardia che dipendono esclusivamente dalle rappresentazioni dello strato terminale.
Fatti principali
- SIREN è un modello di guardia leggero per rilevare contenuti dannosi nei LLM
- Analizza rappresentazioni interne attraverso più strati anziché solo output terminali
- Il modello identifica neuroni di sicurezza tramite linear probing
- Utilizza una strategia adattiva di ponderazione degli strati per combinare le caratteristiche di sicurezza
- SIREN supera i modelli di guardia open-source all'avanguardia in più benchmark
- Utilizza 250 volte meno parametri addestrabili rispetto ai modelli attuali
- Il modello consente il rilevamento in tempo reale dello streaming di contenuti dannosi
- SIREN migliora l'efficienza inferenziale rispetto ai modelli di guardia generativi
Entità
Istituzioni
- arXiv