StateBridge: Comunicazione Latente Senza Addestramento per Sistemi Multi-Agente con LLM
Un recente articolo pubblicato su arXiv (2608.13317) presenta StateBridge, un approccio innovativo per la comunicazione latente in sistemi multi-agente che utilizzano modelli linguistici di grandi dimensioni (LLM) che non richiede addestramento. I sistemi multi-agente convenzionali si affidano a token di testo discreti, che possono limitare il flusso di informazioni trascurando i dettagli degli stati nascosti continui. Mentre la comunicazione latente consente agli agenti di condividere direttamente le rappresentazioni nascoste, i metodi attuali richiedono proiettori addestrati o comportano l'aggiunta di memoria di lavoro strato per strato attraverso i transformer, ostacolando la portabilità. StateBridge utilizza una trasformazione ortogonale in forma chiusa per allineare gli stati nascosti del livello finale del mittente con lo spazio di input del ricevente, incorporando una calibrazione della norma leggera e un ancoraggio del vocabolario per la compatibilità con la distribuzione di input pre-addestrata. Questo allineamento viene anteposto all'input del ricevente, facilitando l'integrazione senza ulteriore addestramento e migliorando l'efficienza e la ricchezza della comunicazione tra agenti LLM, il che può portare a prestazioni migliori nei compiti multi-agente.
Fatti principali
- Articolo su arXiv: 2608.13317
- Tipo di annuncio: nuovo
- Propone StateBridge, un metodo di comunicazione latente senza addestramento
- Utilizza una trasformazione ortogonale in forma chiusa per l'allineamento
- Include calibrazione della norma e ancoraggio del vocabolario
- Gli stati allineati vengono anteposti all'input del ricevente
- Affronta i limiti dei metodi latenti esistenti
- Si rivolge a sistemi multi-agente con LLM
Entità
Istituzioni
- arXiv