Il framework SWARM utilizza etichette morbide per la sicurezza dell'IA multi-agente
Un nuovo framework di simulazione chiamato SWARM (System-Wide Assessment of Risk in Multi-agent systems) sostituisce le etichette binarie buono/cattivo con etichette probabilistiche morbide per affrontare i rischi emergenti nei sistemi di IA multi-agente. Introdotto su arXiv:2604.19752, SWARM calcola payoff a valori continui, misure di tossicità e interventi di governance. Include un motore di governance modulare con leve come tasse sulle transazioni, interruttori automatici, decadimento della reputazione e audit casuali. Gli effetti sono quantificati tramite metriche probabilistiche come tossicità attesa e gap di qualità. Il framework è stato testato su sette scenari.
Fatti principali
- SWARM sostituisce le etichette binarie con etichette probabilistiche morbide p = P(v=+1) in [0,1]
- Il framework affronta i rischi emergenti nei sistemi di IA multi-agente
- Include un motore di governance modulare con leve configurabili
- Le leve includono tasse sulle transazioni, interruttori automatici, decadimento della reputazione, audit casuali
- Quantifica gli effetti utilizzando metriche di tossicità attesa e gap di qualità
- Testato su sette scenari
- Pubblicato su arXiv con ID 2604.19752
- Il tipo di annuncio è cross
Entità
Istituzioni
- arXiv