Gating Basato sulla Divergenza KL per la Comunicazione in RL Multi-Agente
Un nuovo preprint su arXiv (2608.14559) presenta un approccio innovativo alla comunicazione nell'apprendimento per rinforzo multi-agente che si allontana dai metodi binari tradizionali. Invece di una comunicazione costante o dell'uso di gradienti REINFORCE incoerenti, gli agenti condividono informazioni solo quando la divergenza KL tra le loro distribuzioni di credenza supera un limite prestabilito. Ogni agente mantiene una credenza sullo stato nascosto del mondo, calcolata tramite una funzione softmax sul suo stato nascosto LSTM. Questa tecnica è stata valutata utilizzando il benchmark Predator-Prey da IC3Net in due diverse dimensioni ambientali, con cinque semi per ciascuna, e anche su MPE simple_spread, confrontando i risultati con IC3Net, CommNet e una baseline. L'obiettivo è promuovere una comunicazione più affidabile e comprensibile.
Fatti principali
- arXiv:2608.14559
- Propone un gating basato sulla divergenza KL per la comunicazione in RL multi-agente
- Gli agenti comunicano quando la divergenza KL supera una soglia fissa
- Le distribuzioni di credenza sono calcolate come softmax sullo stato nascosto LSTM
- Valutato sul benchmark Predator-Prey da IC3Net
- Due dimensioni ambientali con 5 semi ciascuna
- Valutato anche su MPE simple_spread
- Confrontato con IC3Net, CommNet e una baseline indipendente
Entità
Istituzioni
- arXiv