Rimozione di Azioni Avversarie nell'Apprendimento per Rinforzo con Self-Play

Uno studio recente pubblicato su arXiv presenta il concetto di mascheramento di azioni avversarie nell'apprendimento per rinforzo con self-play, dove un attaccante elimina strategicamente alcune azioni legali dal set di azioni di una vittima. Questo metodo differisce dalle perturbazioni tradizionali, poiché rimuove le opzioni prima che l'agente prenda una decisione. Esperimenti condotti in giochi di poker, che vanno da 6 a 5.531 stati informativi, insieme a due scenari non di poker, rivelano che il mascheramento appreso infligge danni significativamente maggiori rispetto al mascheramento casuale e ai benchmark di perturbazione appresa. L'attacco è efficace contro varie vittime, tra cui Q-learning, PPO, NFSP, NFSP neurale e DQN; si trasferisce tra agenti, viene intensificato attraverso il self-play e non mostra segni di recupero con un addestramento mascherato prolungato. L'avversario si concentra su punti decisionali di alto valore, indicati dalla capacità d'azione contingente ponderata per il raggiungimento (CAC_w) e dal raffinamento ponderato per il valore (CAC_v), evidenziando la disponibilità di azioni come un aspetto unico di robustezza nell'apprendimento per rinforzo con self-play.