LLM-SoccerArena: un benchmark per le previsioni sportive con l'IA

I ricercatori hanno presentato LLM-SoccerArena, un benchmark live prospettico progettato per valutare come i grandi modelli linguistici (LLM) prevedono eventi sportivi reali. La piattaforma, disponibile su llm-soccerarena.com, fornisce un sistema pubblico open-source che registra automaticamente previsioni con timestamp e schema validato di eventi non ancora risolti, insieme a prompt, versioni del modello, tracce degli strumenti e costi. Il benchmark utilizza un disegno fattoriale con domande relative ai tornei, come quale squadra vincerà, per testare la capacità degli LLM di sintetizzare informazioni in condizioni di incertezza. Questo affronta il limite dei benchmark statici e retrospettivi esistenti, che non possono valutare le capacità predittive per eventi futuri. Il progetto mira a far progredire la comprensione del processo decisionale degli LLM in contesti reali incerti.