DIVERT: Valutazione Efficiente di Agenti LLM tramite Simulazione Guidata dalla Diversità

Un nuovo framework chiamato DIVERT (Diversity-Induced Evaluation via Branching of Trajectories) mira a migliorare l'efficienza e la completezza della valutazione di agenti basati su grandi modelli linguistici (LLM) in ruoli a contatto con i clienti. Gli attuali metodi di valutazione si basano su rollout Monte Carlo lineari di conversazioni complete agente-utente, che sono computazionalmente dispendiosi poiché rigenerano ripetutamente gli stessi prefissi iniziali della conversazione e spesso perdono comportamenti rari degli utenti che portano a fallimenti profondi. DIVERT cattura l'intero stato agente-ambiente nei punti decisionali critici, consentendo di riprendere l'esecuzione da questi snapshot. Ciò permette il riutilizzo dei prefissi di conversazione condivisi, riducendo il calcolo ridondante. Da ogni giunzione, il framework si dirama per esplorare diversi comportamenti degli utenti, coprendo sistematicamente scenari rari. L'approccio è descritto come efficiente, basato su snapshot e guidato dalla copertura, progettato per l'esplorazione sistematica delle interazioni agente-utente. La ricerca è pubblicata su arXiv con identificatore 2604.21480.