Gli attacchi di injection dei prompt minacciano i sistemi robotici multi-agente
Un nuovo studio da arXiv (2608.00747v1) valuta la vulnerabilità dei sistemi robotici multi-agente basati su LLM agli attacchi di injection dei prompt. La ricerca dimostra che tali attacchi possono indurre azioni avverse e ridurre il completamento dei compiti, con rischi amplificati in contesti multi-agente attraverso la contaminazione incrociata tra agenti. Sono state testate iniezioni dirette nelle istruzioni dei compiti e iniezioni indirette tramite moduli di percezione, con diverse complessità degli obiettivi di attacco e strategie di iniezione. I risultati rivelano che gli attacchi possono propagarsi tra gli agenti attraverso strutture di prompt condivise, con impatti che dipendono dalla composizione del prompt e dall'agente preso di mira. Lo studio sottolinea la necessità di misure di sicurezza robuste nei sistemi autonomi che si affidano a grandi modelli linguistici per la pianificazione e il controllo.
Fatti principali
- Lo studio valuta gli attacchi di injection dei prompt su sistemi robotici multi-agente basati su LLM.
- Gli attacchi possono essere diretti (istruzioni dei compiti) o indiretti (moduli di percezione).
- Le impostazioni multi-agente aumentano i rischi attraverso la contaminazione incrociata tra agenti.
- L'injection dei prompt può indurre azioni avverse e ridurre il completamento dei compiti.
- Gli attacchi si propagano tra gli agenti tramite strutture di prompt condivise.
- L'impatto varia con la composizione del prompt e l'agente preso di mira.
- La ricerca proviene dall'articolo arXiv 2608.00747v1.
- L'integrazione degli LLM nella robotica espone i sistemi a rischi per la sicurezza.
Entità
Istituzioni
- arXiv