DuplexWorld: Un nuovo benchmark per valutare gli agenti vocali in diversi scenari del mondo reale

È stato introdotto un nuovo benchmark chiamato DuplexWorld per valutare in modo più olistico gli agenti vocali speech-to-speech (S2S). Il benchmark, descritto in un articolo su arXiv (2608.10716), affronta i limiti dei benchmark esistenti che si concentrano principalmente sul tool calling agente contro database. DuplexWorld crea sei mondi distinti: banking, assicurazioni, viaggi, sanità, logistica e pathfinding, dove gli agenti vocali sono particolarmente utili. Valuta gli agenti attraverso undici tipi di conversazioni e 156 scenari, per un totale di oltre 350 ore di conversazione, testando sia le capacità conversazionali che analitiche. Gli autori sostengono che i benchmark attuali non tengono conto della diversità del dialogo conversazionale nelle attività quotidiane e non testano quanto fedelmente un agente possa assistere in compiti che vanno oltre la manipolazione di database. DuplexWorld mira a colmare questa lacuna fornendo un quadro di valutazione più completo.