Persuasione Avversaria: Agenti Addestrati con RL Fanno Crollare l'Accuratezza dei LLM a Quasi Zero
Uno studio recente pubblicato su arXiv (2608.11624) indica che i modelli linguistici di grandi dimensioni (LLM) sono significativamente vulnerabili alla persuasione avversaria. La ricerca mostra che un singolo argomento mirato, anche se errato, può ridurre drasticamente la loro accuratezza a quasi zero. Questo fenomeno è definito 'persuasione avversaria' ed è esaminato attraverso un framework di apprendimento per rinforzo avversario (RL) che addestra agenti persuasori a modificare la risposta di un modello target in una sola interazione. I risultati rivelano che i persuasori addestrati con RL migliorano i tassi di successo da circa il 24% a oltre il 93%, esponendo debolezze che le tecniche di prompting tradizionali trascurano. Gli autori sottolineano che, affinché i LLM siano affidabili, devono resistere alla persuasione dannosa, evidenziando l'urgente necessità di difese più forti contro tali tattiche nei sistemi di intelligenza artificiale.
Fatti principali
- Lo studio è pubblicato su arXiv con ID 2608.11624.
- Un singolo argomento persuasivo mirato può far crollare l'accuratezza del modello a quasi zero, anche quando l'argomento è fattualmente falso.
- La minaccia è formalizzata come 'persuasione avversaria'.
- Un framework di apprendimento per rinforzo avversario addestra agenti persuasori a cambiare la risposta di un modello target in una singola interazione.
- I persuasori addestrati con RL aumentano il successo della persuasione da circa il 24% a oltre il 93%.
- La ricerca mostra che ottimizzare le strategie di persuasione attraverso tentativi ed errori espone vulnerabilità che il prompting statico non rileva.
- I LLM sempre più spesso dibattono, consigliano e collaborano con gli esseri umani e tra loro.
- La resistenza alla persuasione dannosa è identificata come un requisito fondamentale per un comportamento affidabile.
Entità
Istituzioni
- arXiv