GAMBIT: Nuovo Benchmark Testa la Robustezza Avversaria nei Sistemi Multi-Agente con LLM
Un nuovo benchmark chiamato GAMBIT è stato sviluppato dai ricercatori per valutare la resilienza avversaria dei collettivi multi-agente basati su LLM. Questo benchmark affronta il problema di un singolo agente fuorviante che potrebbe compromettere l'intero sistema di IA. GAMBIT offre tre modalità di valutazione: due si concentrano sul rilevamento zero-shot in presenza di cambiamenti distributivi, mentre la terza modalità testa la velocità con cui un rilevatore può ricalibrarsi a nuovi attacchi utilizzando solo 20 esempi etichettati. Il dataset comprende 27.804 istanze etichettate su 240 strategie di impostori co-evolute, utilizzando gli scacchi come quadro di ragionamento complesso con agenti Gemini 3.1 Pro. Questa ricerca sottolinea la necessità di difese adattive all'interno dei sistemi multi-agente.
Fatti principali
- GAMBIT è un benchmark per la robustezza avversaria nei collettivi multi-agente con LLM.
- Un singolo agente ingannevole può annullare i guadagni di un collettivo di IA agentico.
- Gli studi avversari esistenti si concentrano su compiti superficiali e ignorano gli avversari adattivi.
- GAMBIT ha tre modalità di valutazione: due zero-shot e una di ricalibrazione.
- La modalità di ricalibrazione misura l'adattamento da soli 20 esempi etichettati.
- Il dataset include 27.804 istanze etichettate su 240 strategie di impostori.
- Gli scacchi sono usati come problema di ragionamento profondo.
- Gemini 3.1 Pro è utilizzato per gli agenti.
Entità
—