DG-PG: Ridurre il Rumore nel MARL Multi-Agente con Modelli Analitici

Il framework Descent-Guided Policy Gradient (DG-PG) affronta i problemi di scalabilità presenti nell'apprendimento per rinforzo multi-agente cooperativo (MARL). Una sfida significativa deriva dal rumore incrociato tra agenti, dove i premi condivisi portano il segnale di apprendimento di ciascun agente a essere influenzato dalla casualità degli altri, con un conseguente aumento della varianza proporzionale al numero di agenti N. DG-PG utilizza modelli analitici differenziabili, tipicamente presenti in campi ingegneristici come il cloud computing e i sistemi di potenza, per fornire un segnale di discesa privo di rumore. Questa innovazione migliora gli aggiornamenti standard del policy gradient, riducendo la varianza dello stimatore da O(N) a O(1) mantenendo gli equilibri del gioco cooperativo. Inoltre, garantisce una complessità campionaria indipendente dall'agente, il che significa che le prestazioni rimangono stabili con l'aggiunta di agenti. La ricerca è disponibile su arXiv con identificatore 2602.20078.