La composizione di politiche per agente nell'apprendimento per rinforzo multi-agente può fallire: nuova dimostrazione

Un nuovo articolo su arXiv (2608.11658) mette in discussione la sicurezza della composizione di politiche per agente nell'apprendimento per rinforzo cooperativo multi-agente. Gli autori dimostrano che quando ogni agente ricombina indipendentemente la propria libreria di politiche apprese utilizzando caratteristiche successive e miglioramento generalizzato delle politiche, il comportamento congiunto risultante può essere strettamente peggiore di ogni politica nella libreria. Questo perché ricombinare i compagni di squadra cambia l'ambiente che ogni agente affronta, invalidando i valori utilizzati per il trasferimento. L'articolo evidenzia una lacuna critica nell'apprendimento per trasferimento multi-agente, comune in applicazioni come la gestione delle flotte e il controllo dei segnali stradali, dove gli obiettivi cambiano dinamicamente dopo la distribuzione. Gli autori sostengono che mentre le caratteristiche successive con miglioramento generalizzato delle politiche per un singolo agente garantiscono prestazioni non peggiori di qualsiasi politica nella libreria, l'approccio di composizione indipendente in contesti multi-agente manca di tali garanzie. L'articolo è un annuncio di tipo incrociato ed è disponibile su https://arxiv.org/abs/2608.11658.