TradeVerse: Nuovo Benchmark per LLM nella Negoziazione Politica

TradeVerse è stato lanciato da ricercatori come benchmark volto a valutare i modelli linguistici di grandi dimensioni (LLM) nel contesto di negoziazioni politiche a lungo termine. Questo benchmark è costruito a partire da specifiche preoccupazioni commerciali dell'Organizzazione Mondiale del Commercio (OMC) e include i verbali di 1.170 riunioni in 5 gruppi e 89 categorie di prodotti. Delinea tre compiti distinti, con il primo compito che richiede ai sistemi di esaminare i verbali storici delle riunioni e prevedere i codici del sistema armonizzato (capitoli SA) per i prodotti in discussione. Questo approccio supera i limiti degli attuali benchmark che si concentrano su singoli documenti o compiti, riconoscendo che le negoziazioni reali sono iterative e dipendenti dal contesto. I risultati sono pubblicati in un articolo su arXiv (2608.06549).