Il framework SURE standardizza la valutazione della comprensione del parlato
I ricercatori hanno introdotto un nuovo framework chiamato SURE per affrontare le sfide di comparabilità e riproducibilità nelle valutazioni della comprensione del parlato. Nonostante i progressi nei modelli foundation del parlato e negli Speech LLM, scegliere quali modelli implementare è complicato a causa di valutazioni incoerenti derivanti da diversi metodi di post-elaborazione e risultati di addestramento difficili da replicare su diverse scale di dati. SURE mira a creare uniformità nel punteggio, nella normalizzazione e nelle previsioni, consentendo valutazioni coerenti di vari sistemi, siano essi tradizionali o Speech LLM, in contesti acustici e linguistici realistici. Include anche una funzionalità che converte articoli di ricerca e codice in pipeline di addestramento standardizzate utilizzando sottoinsiemi di dati aperti corrispondenti. Maggiori dettagli sono disponibili in un articolo su arXiv (ID 2605.30899) nella categoria Audio e Elaborazione del Parlato.
Fatti principali
- SURE è un framework di sperimentazione unificato per la comprensione del parlato.
- Standardizza i formati di previsione, la normalizzazione e il punteggio.
- Valuta sistemi che vanno dalle pipeline convenzionali agli Speech LLM.
- Include un flusso di conversione dell'addestramento assistito da agente.
- Mappa articoli e codice in pipeline di addestramento versionate e eseguibili.
- Utilizza sottoinsiemi di dati aperti corrispondenti per l'addestramento.
- Migliora la comparabilità e la riproducibilità per la valutazione orientata all'implementazione.
- Articolo disponibile su arXiv con ID 2605.30899.
Entità
Istituzioni
- arXiv