Audit Causale Sfida le Affermazioni di Comunicazione Latente nei LLM Multi-Agente
Un recente preprint su arXiv (2608.04893) conduce un'analisi causale delle cache chiave-valore (KV) trasmesse all'interno di sistemi di modelli linguistici di grandi dimensioni (LLM) multi-agente, mettendo in discussione la convinzione che la condivisione delle cache KV migliori le prestazioni. Questa analisi prevede la sostituzione della cache trasmessa con alternative casuali disordinate, azzerate e abbinate ai momenti. Vengono esplorati due scenari sperimentali: uno che richiede i dati privati del mittente, dove i relay rilevanti per la risposta raggiungono il 100% delle prestazioni rispetto al 23-25% per i relay irrilevanti, coerente su tre famiglie di modelli e cinque checkpoint. Il secondo scenario impiega un protocollo a cinque semi, rivelando un'equivalenza entro 2,8 punti sotto TOST corretto con Holm su GSM8K e ARC-Challenge. I risultati indicano che i vantaggi delle cache KV trasmesse dipendono dalla necessità del ricevente di informazioni private.
Fatti principali
- Il preprint arXiv:2608.04893 presenta un audit causale delle cache KV trasmesse nei LLM multi-agente.
- L'audit sostituisce le cache trasmesse con controparti casuali disordinate, azzerate e abbinate ai momenti.
- Vengono testati due regimi: uno in cui il ricevente necessita delle informazioni private del mittente e uno in cui non le necessita.
- Nel regime con informazioni richieste, i relay rilevanti per la risposta raggiungono il 100% delle prestazioni rispetto al 23-25% per i relay irrilevanti.
- Il contrasto è replicato su tre famiglie di modelli, cinque checkpoint e una superficie di QA su documenti in prosa.
- Nel regime senza informazioni richieste, un protocollo pre-registrato a cinque semi stabilisce un'equivalenza entro 2,8 punti.
- L'equivalenza è dimostrata sotto TOST corretto con Holm su GSM8K e ARC-Challenge su tre scale Qwen3, e su MedQA a 8B.
- Una cella su MedQA mostra una piccola differenza rilevabile.
- Lo studio mette in discussione l'assunto che le cache trasmesse veicolino sempre pensieri latenti utili.
- Il lavoro fornisce una metodologia causale per l'audit dei protocolli di comunicazione nei sistemi multi-agente.
Entità
Istituzioni
- arXiv