Nuovo Benchmark Valuta i Rischi per la Sicurezza della Modifica Maliziosa della Conoscenza nei LLM
I ricercatori hanno introdotto EditRisk-Bench, un benchmark progettato per valutare sistematicamente i rischi per la sicurezza del ragionamento knowledge-intensive nei modelli linguistici di grandi dimensioni (LLM) sotto modifica maliziosa della conoscenza. A differenza dei benchmark esistenti che si concentrano sull'efficacia della modifica, EditRisk-Bench valuta specificamente come la conoscenza iniettata—come disinformazione, pregiudizi o violazioni della sicurezza—influenzi il comportamento di ragionamento a valle e l'affidabilità. Il lavoro, pubblicato su arXiv (2605.10146), affronta la mancanza di quadri unificati per valutare le implicazioni per la sicurezza della conoscenza modificata. Il benchmark integra diversi scenari maliziosi per testare la vulnerabilità degli LLM all'iniezione di conoscenza avversaria, che può corrompere il ragionamento e portare a risultati dannosi.
Fatti principali
- EditRisk-Bench è un nuovo benchmark per valutare i rischi per la sicurezza del ragionamento knowledge-intensive sotto modifica maliziosa della conoscenza.
- Il benchmark si concentra su come la conoscenza iniettata influenzi il comportamento di ragionamento a valle e l'affidabilità.
- Include scenari come disinformazione, pregiudizi e violazioni della sicurezza.
- I benchmark esistenti enfatizzano principalmente il successo della modifica, la generalizzazione e la località.
- La ricerca è stata pubblicata su arXiv con identificatore 2605.10146.
- I modelli linguistici di grandi dimensioni si affidano sempre più alla modifica della conoscenza per il ragionamento knowledge-intensive.
- Gli avversari possono iniettare conoscenza maliziosa che corrompe il ragionamento e porta a risultati dannosi.
- EditRisk-Bench mira a fornire un quadro unificato per la valutazione della sicurezza.
Entità
Istituzioni
- arXiv