PrefBench: Benchmark per Agenti LLM nelle Negoziazioni di Prezzi Personalizzati

PrefBench è un benchmark che utilizza simulazioni per valutare agenti LLM zero-shot in negoziazioni che coinvolgono prezzi personalizzati con preferenze nascoste. Ogni episodio presenta un acquirente simulato abbinato a un pacchetto di personalizzazione del veicolo specifico. Il venditore ha accesso a descrittori pubblici del profilo, dettagli del pacchetto e la cronologia delle negoziazioni, mentre le variabili latenti dell'acquirente influenzano aspetti come la valutazione, la pazienza, le strategie di controfferta e le decisioni di ritiro. Questo benchmark implementa un protocollo di riepilogo dello stato per LLM che richiede agli agenti di produrre azioni JSON precise all'interno di un quadro definito di informazioni nascoste. Gli autori confrontano venditori LLM zero-shot con benchmark euristici su 7.500 episodi. Lo studio è disponibile su arXiv con l'identificatore 2605.22855.