Un Audit Causale Rivela che i Canali Latenti nei Sistemi Multi-Agente Basati su LLM Potrebbero Non Comunicare Informazioni Rilevanti per il Compito
Un nuovo studio condiviso su arXiv (2607.26773) esamina come i canali di comunicazione nascosti nei sistemi multi-agente basati su grandi modelli linguistici (LLM) trasmettano informazioni importanti per i compiti. I ricercatori sostengono che, sebbene questi canali trasmettano rappresentazioni interne in modo continuo anziché testo, una maggiore capacità non implica che il ricevente utilizzi effettivamente le informazioni. Semplicemente controllare i risultati finali non rivelerà se essi dipendono dalla presenza dei messaggi, dal contenuto specifico o dai contributi di altri agenti. Lo studio testa questo alterando i messaggi nel punto in cui la rappresentazione del mittente viene ricevuta, utilizzando quattro tipi di messaggio per misurare vari fattori. È stato condotto su Qwen3-4B e Qwen3-8B su dataset come GSM8K, ARC-C e MATH-500, concentrandosi principalmente sulle prestazioni di Qwen3-4B su GSM8K. Questo è un documento preliminare e non è stato ancora sottoposto a revisione paritaria.
Fatti principali
- L'articolo introduce un audit causale per la comunicazione latente nei sistemi multi-agente basati su LLM.
- La comunicazione latente trasmette rappresentazioni interne continue anziché testo.
- Una maggiore capacità rappresentazionale non stabilisce che il ricevente utilizzi informazioni rilevanti per il compito.
- Le prestazioni finali del compito da sole non possono rivelare la dipendenza dalla presenza del messaggio, dal contenuto o dalle informazioni separate degli agenti.
- L'audit applica sostituzioni controllate dei messaggi al confine in cui la rappresentazione del mittente entra nel ricevente.
- Quattro impostazioni di messaggio supportano cinque misurazioni di informazione e sensibilità.
- L'audit è stato applicato al relay latente con Qwen3-4B e Qwen3-8B su GSM8K, ARC-C e MATH-500.
- L'articolo è un preprint su arXiv (2607.26773) e non è stato sottoposto a revisione paritaria.
Entità
Istituzioni
- arXiv