OpenSTBench: Quadro di Valutazione Unificato per la Traduzione Vocale

Il nuovo quadro di valutazione, OpenSTBench, affronta il problema del confronto tra diversi sistemi di traduzione vocale. Questo campo comprende varie modalità, tra cui la traduzione da voce a testo (S2TT) e da voce a voce (S2ST), insieme a opzioni offline e in streaming, ciascuna delle quali produce output distinti in termini di modalità, tempistica e qualità del parlato. Le attuali tecniche di valutazione analizzano la qualità della traduzione, la qualità del parlato e la qualità temporale in modo isolato, complicando i confronti completi. OpenSTBench consolida questi elementi in un formato unificato, accogliendo sia S2TT che S2ST in contesti offline e in streaming. Valuta collettivamente la qualità della traduzione, la qualità del parlato, la conservazione del parlante, la fedeltà emotiva e paralinguistica, la coerenza temporale e la latenza. Il quadro è descritto in un articolo disponibile su arXiv.