AV-AIVAT: Valutazione di Agenti 74 Volte Più Economica con Arresto Anytime-Valido Certificato in Giochi a Informazione Imperfetta
Un nuovo metodo chiamato AV-AIVAT (Anytime-Valid Action-Informed Value Assessment Tool) riduce il costo di valutazione degli agenti AI in giochi a informazione imperfetta fino a 74 volte, mantenendo garanzie statistiche. L'approccio combina AIVAT, una tecnica di riduzione della varianza, con Confidence Sequences (CSs) per consentire un arresto anytime-valido. Nei test su 15 configurazioni di agenti LLM e 71.439 mani di Heads-Up No-Limit Hold'em (HUNL) appaiate, AIVAT ha ridotto la varianza di una mediana di 54 volte. AV-AIVAT consente di interrompere le valutazioni non appena vengono raccolte prove sufficienti, evitando sprechi di risorse. Il metodo è particolarmente rilevante per confrontare agenti in giochi come il poker, dove abilità e fortuna sono intrecciate. L'articolo è disponibile su arXiv con identificativo 2608.06362.
Fatti principali
- AV-AIVAT combina AIVAT con Confidence Sequences per un arresto anytime-valido.
- AIVAT riduce la varianza di una mediana di 54 volte su 15 configurazioni di agenti LLM.
- Lo studio ha utilizzato 71.439 mani di Heads-Up No-Limit Hold'em (HUNL) appaiate.
- AV-AIVAT può ridurre il costo di valutazione fino a 74 volte.
- Il metodo mantiene garanzie statistiche consentendo l'arresto anticipato.
- L'articolo è disponibile su arXiv con identificativo 2608.06362.
- AIVAT utilizza correzioni condizionali a media zero per la riduzione della varianza.
- Il modello di valore online in AV-AIVAT apprende solo dai dati passati.
Entità
Istituzioni
- arXiv