MERaLiON-GR: Nuovo Modello di Riconoscimento del Genere Vocale Supera lo Stato dell'Arte in Inglese e Lingue del Sud-Est Asiatico
È stato sviluppato un nuovo sistema di riconoscimento del genere vocale chiamato MERaLiON-GR, in grado di classificare le voci come femminili o maschili in inglese e nelle lingue del Sud-Est asiatico (SEA). Questo modello utilizza MERaLiON-SpeechEncoder-2, un grande trasformatore pre-addestrato su un ampio dataset vocale, ottimizzato tramite Low-Rank Adaptation (LoRA) per l'efficienza. Include una rete multi-scala ECAPA-TDNN con attenzione pooling e un classificatore lineare semplificato. Test completi su varie lingue a Singapore e nel Sud-Est asiatico—tra cui inglese, cinese, malese, tamil, thailandese, vietnamita, indonesiano e khmer—dimostrano che MERaLiON-GR supera il principale modello di riconoscimento del genere Vox-Profile e un significativo Audio-LLM sia in valutazioni a livello di intera frase che a livello di segmento. Questi risultati evidenziano l'importanza di modelli vocali specializzati per raggiungere un'alta accuratezza. L'articolo di ricerca è disponibile su arXiv con l'identificatore 2608.04433.
Fatti principali
- MERaLiON-GR è un sistema di riconoscimento del genere vocale per inglese e lingue del Sud-Est asiatico.
- Esegue una classificazione binaria (femminile/maschile).
- Il modello ottimizza MERaLiON-SpeechEncoder-2, un grande trasformatore basato su conformer.
- Viene applicata una ottimizzazione efficiente dei parametri tramite Low-Rank Adaptation (LoRA).
- Aggiunge una rete a valle multi-scala ECAPA-TDNN con attenzione pooling e un classificatore lineare leggero.
- Le valutazioni coprono inglese, cinese, malese, tamil, thailandese, vietnamita, indonesiano e khmer.
- MERaLiON-GR supera Vox-Profile e un grande Audio-LLM sia in modalità a intera frase che a livello di segmento.
- L'articolo è disponibile su arXiv (2608.04433).
Entità
Istituzioni
- arXiv
Luoghi
- Singapore
- Southeast Asia