KoALa-Bench: Nuovo benchmark per modelli linguistici audio coreani
KoALa-Bench è un benchmark completo progettato per valutare la comprensione e l'accuratezza dei grandi modelli linguistici audio (LALM) riguardo al parlato coreano. Presenta sei compiti distinti: quattro incentrati sulla comprensione essenziale del parlato—riconoscimento automatico del parlato, traduzione del parlato, risposta a domande sul parlato e seguimento di istruzioni vocali—e due che valutano la fedeltà al parlato, affrontando il problema comune dei LALM che non sfruttano appieno la modalità vocale. Inoltre, il benchmark include conoscenze pertinenti alla Corea, come domande di ascolto dal test di abilità scolastica coreano, colmando una lacuna nella disponibilità di benchmark non inglesi per i LALM, specialmente per la lingua coreana.
Fatti principali
- KoALa-Bench valuta la comprensione del parlato coreano e la fedeltà dei LALM.
- Il benchmark include sei compiti: quattro per la comprensione del parlato e due per la fedeltà.
- I compiti coprono il riconoscimento automatico del parlato, la traduzione del parlato, la risposta a domande sul parlato e il seguimento di istruzioni vocali.
- I compiti di fedeltà al parlato affrontano il fallimento dei LALM nello sfruttare appieno la modalità vocale.
- Il benchmark incorpora conoscenze specifiche della Corea dal test di abilità scolastica coreano.
- Affronta la mancanza di benchmark non inglesi per i LALM, specialmente per il coreano.
- Il lavoro è pubblicato su arXiv con ID 2604.19782.
- Il tipo di annuncio è cross.
Entità
Istituzioni
- arXiv