Nuovo Benchmark MTR-DuplexBench Valuta Modelli Linguistici Vocali Full-Duplex Multi-Turn

È stato lanciato un nuovo standard di valutazione, MTR-DuplexBench, per colmare le lacune nella valutazione dei Modelli Linguistici Vocali Full-Duplex (FD-SLM). Questi modelli facilitano conversazioni simultanee in tempo reale, migliorando l'engagement degli utenti rispetto ai sistemi half-duplex convenzionali. Gli attuali benchmark si concentrano principalmente su interazioni single-turn, non riuscendo a catturare le complessità del dialogo multi-turn. Valutare gli FD-SLM presenta sfide come confini di turno indistinti e contesto incoerente durante l'inferenza. MTR-DuplexBench suddivide le conversazioni full-duplex continue in turni distinti per una valutazione dettagliata. Inoltre, include una gamma di criteri di valutazione che vanno oltre i semplici elementi conversazionali. Questo benchmark mira a stabilire un quadro di valutazione multi-turn completo per gli FD-SLM, affrontando le carenze dei benchmark esistenti che spesso trascurano componenti vitali della comunicazione multi-turn.