TERMS-Bench: Un nuovo benchmark per agenti di negoziazione LLM

Un nuovo framework chiamato TERMS-Bench (Testbed for Economic Reasoning in Multi-turn Strategy) è stato sviluppato dai ricercatori per valutare gli agenti di negoziazione basati su grandi modelli linguistici (LLM) utilizzando un approccio di gioco bayesiano, andando oltre metriche di base come il tasso di conclusione dell'affare. La negoziazione, un processo economico essenziale caratterizzato da interazioni multi-turno, preferenze nascoste, dialogo strategico e vincoli vincolanti, pone sfide per la valutazione a causa dell'assenza di un verificatore intrinseco, a differenza della matematica o della programmazione. Le valutazioni attuali dipendono tipicamente dall'interazione tra LLM o dai risultati complessivi, che possono oscurare i fallimenti. TERMS-Bench risolve a questo problema utilizzando l'ambiente come verificatore, dettagliando il tipo nascosto, la politica e la struttura dei payoff della controparte. Questo framework viene applicato a negoziazioni bilaterali di prezzo, dove l'agente non può vedere lo stato privato e la politica del simulatore della controparte, ma il valutatore sì. Ciò consente un'identificazione precisa dei fallimenti degli agenti di negoziazione. La ricerca è disponibile su arXiv con l'identificatore 2605.13909.