Autoencoder sparsi a regolarizzazione grafica migliorano il controllo di sicurezza degli LLM

I ricercatori hanno introdotto una nuova tecnica per l'apprendimento di dizionari chiamata Autoencoder Sparsi a Regolarizzazione Grafica (GSAE), volta a migliorare il controllo di sicurezza nei modelli linguistici di grandi dimensioni (LLM). A differenza degli autoencoder sparsi tradizionali (SAE), che trattano le caratteristiche latenti come entità separate, GSAE affronta le complessità dei comportamenti di sicurezza come il rifiuto e la conformità dannosa smussando i vettori del decodificatore utilizzando un grafo di co-attivazione dei neuroni. Questo metodo impiega un controller runtime a due porte con il banco di direzioni risultante. I risultati dei test indicano che GSAE migliora il rifiuto selettivo su tre benchmark: JailbreakBench, HarmBench e XSTest. In particolare, quando GSAE ha sostituito il SAE standard nel pipeline Llama-3-8B, ha ottenuto un incremento di 20,1 punti su JailbreakBench. Questi risultati sono dettagliati in arXiv:2512.06655v3.