Parallel CFR: Risoluzione di Giochi in Tempo Reale con Accelerazione GPU
Un team di ricercatori ha presentato Parallel CFR, che segna il primo framework di parallelizzazione progettato per la risoluzione in tempo reale del Counterfactual Regret Minimization (CFR) con profondità limitata. Questo framework innovativo combina pruning, astrazione e varianti sofisticate di CFR, suddividendo ogni iterazione in un processo a sette fasi. Identifica due forme distinte di parallelismo: una basata sugli insiemi informativi e l'altra sui nodi dell'albero. Le valutazioni dei nodi foglia vengono elaborate tramite GPU utilizzando inferenza di reti neurali in batch, risultando in un pipeline misto CPU–GPU. I risultati sperimentali indicano notevoli aumenti di velocità, consentendo un maggior numero di iterazioni entro vincoli di tempo ristretti per giochi come il No-Limit Texas Hold'em. Questo sviluppo si basa sui successi del CFR in Libratus e Pluribus, con l'obiettivo di migliorare la qualità delle decisioni in tempo reale.
Fatti principali
- Parallel CFR è il primo framework di parallelizzazione per la risoluzione CFR in tempo reale con profondità limitata.
- Suddivide ogni iterazione CFR in un pipeline a sette fasi.
- Due dimensioni ortogonali di parallelismo: per insieme informativo e per nodo dell'albero.
- La valutazione dei nodi foglia è delegata alle GPU tramite inferenza di reti neurali in batch.
- Il framework crea un pipeline eterogeneo CPU–GPU.
- Integra pruning, astrazione e varianti avanzate di CFR.
- Il CFR è alla base di scoperte come Libratus e Pluribus nel No-Limit Texas Hold'em.
- Il risolutore deve calcolare strategie quasi di equilibrio entro secondi per ogni decisione.
Entità
Istituzioni
- arXiv