CallBench: Benchmark per Assistenti Telefonici con Obiettivi Duali
Un team di ricercatori ha presentato CallBench, un benchmark progettato per valutare il coordinamento di obiettivi duali negli assistenti telefonici, specificamente adattato per la lingua cinese. Questo benchmark comprende 50.000 dialoghi multi-turno completamente realizzati, distribuiti su sei scenari distinti: takeout, consegna, taxi, lavoro, vita e molestie. Include preset standard, preset emergenti e casi senza preset, mostrando varie relazioni tra gli obiettivi del proprietario e del chiamante, tra cui allineamento, complementarità, irrilevanza e conflitto. Inoltre, lo studio introduce un protocollo di valutazione a livello di turno che tiene conto dei preset, concentrandosi sulla comprensione semantica e sul contesto. Il documento di ricerca è disponibile su arXiv con ID 2607.22635.
Fatti principali
- CallBench è un benchmark cinese per il coordinamento di obiettivi duali negli assistenti telefonici.
- Contiene 50.000 dialoghi telefonici multi-turno.
- I dialoghi coprono sei scenari: takeout, consegna, taxi, lavoro, vita e molestie.
- Comprende preset regolari, preset emergenti e casi senza preset.
- Include relazioni: allineamento, complementarità, irrilevanza e conflitto.
- Presenta un protocollo di valutazione a livello di turno che tiene conto dei preset.
- Documento disponibile su arXiv con ID 2607.22635.
Entità
Istituzioni
- arXiv