EVA-Bench: Nuovo framework per la valutazione degli agenti vocali

EVA-Bench è stato sviluppato dai ricercatori come un framework di valutazione completo per agenti vocali—sistemi di IA che interagiscono in dialoghi parlati per svolgere compiti. Questo framework affronta due questioni principali: la creazione di conversazioni simulate realistiche e la valutazione della qualità attraverso modalità di fallimento specifiche della voce. Per la simulazione, EVA-Bench facilita scambi audio bot-to-bot attraverso dialoghi dinamici multi-turno, incorporando una validazione automatica per identificare errori del simulatore utente e rigenerare le conversazioni prima della valutazione. Per quanto riguarda la misurazione, presenta due metriche composite: EVA-A (Accuratezza), che valuta il completamento del compito, la fedeltà e la qualità del parlato a livello audio; e EVA-X (Esperienza), che valuta il flusso della conversazione, la brevità del parlato e la tempistica dei turni. Questo framework è pensato per applicazioni aziendali dove gli agenti vocali sono sempre più utilizzati. I risultati sono stati resi disponibili su arXiv come preprint 2605.13841.