GENSTRAT: Giochi Generati Proceduralmente Mettono alla Prova il Ragionamento Strategico degli LLM

I ricercatori hanno presentato GENSTRAT, un nuovo benchmark progettato per valutare le capacità di ragionamento strategico dei grandi modelli linguistici (LLM) attraverso giochi di carte generati proceduralmente, a due giocatori, a somma zero e con informazione imperfetta. Questo generatore può creare nuovi giochi su richiesta, garantendo una valutazione continua e protezione contro la contaminazione dei dati. Il framework combina la distribuzione dei giochi con una metodologia di profilo delle capacità che scompone le prestazioni del modello lungo sei dimensioni, come lo spazio degli stati e il ragionamento temporale. Questo approccio innovativo supera le limitazioni dei benchmark fissi di giochi canonici esistenti, che possono diventare inefficaci man mano che i modelli avanzano e non riescono ad applicarsi a scenari strategici reali in cui gli LLM sono sempre più utilizzati come agenti economici in mercati, aste e ambienti di offerta.