SteeringSafety Benchmark Valuta la Guida della Rappresentazione Attraverso le Prospettive di Sicurezza
I ricercatori hanno introdotto un nuovo standard chiamato SteeringSafety, volto a valutare le tecniche di steering per i modelli linguistici di grandi dimensioni (LLM) attraverso nove diverse prospettive di sicurezza utilizzando 18 dataset. Questo benchmark si concentra su aspetti chiave della sicurezza come rifiuto, bias, allucinazione, comportamento sociale, ragionamento, integrità epistemica e giudizio normativo. SteeringSafety include elementi modulari per tattiche di steering complesse, consentendo l'integrazione di DIM, ACE, CAA, PCA e LAT, insieme a nuove funzionalità come lo steering condizionale. I risultati di modelli come Gemma-2-2B, Llama-3.1-8B e Qwen-2.5-7B mostrano che i migliori risultati di steering dipendono dal metodo, dal modello e dal punto di vista. È interessante notare che, mentre DIM funziona costantemente bene, i miglioramenti in un'area di sicurezza possono influire negativamente su altre, evidenziando la necessità di una selezione attenta del metodo in base agli obiettivi di sicurezza.
Fatti principali
- SteeringSafety è un benchmark per valutare i metodi di steering della rappresentazione.
- Copre nove prospettive di sicurezza su 18 dataset.
- Le prospettive di sicurezza includono rifiuto, bias, allucinazione, comportamenti sociali, ragionamento, integrità epistemica e giudizio normativo.
- SteeringSafety fornisce componenti modulari per i metodi DIM, ACE, CAA, PCA e LAT.
- Sono inclusi miglioramenti recenti come lo steering condizionale.
- I risultati sono stati ottenuti sui modelli Gemma-2-2B, Llama-3.1-8B e Qwen-2.5-7B.
- DIM è costantemente efficace su modelli e prospettive.
- Tutti i metodi mostrano un sostanziale intreccio tra le prospettive di sicurezza.
- Il benchmark è introdotto nell'articolo arXiv 2509.13450.
- L'articolo è stato annunciato come una sostituzione su arXiv.
Entità
Istituzioni
- arXiv