LLM Consapevole del Sussurro Riduce Allucinazioni ed Errori nel Riconoscimento Vocale Sussurrato
È stato presentato un nuovo approccio chiamato Whisper-Aware LLM per affrontare le difficoltà associate al riconoscimento automatico del parlato (ASR) per la comunicazione sussurrata. Questo sistema, descritto in un articolo su arXiv (2608.10836), consente a un Audio-LLM di riconoscere e rispondere alle incertezze presenti nei segnali audio sussurrati. Impegnandosi in compiti auto-supervisionati per valutare i limiti fisici, il modello coltiva una forma di autoconsapevolezza. Un meccanismo unico di decodifica con fusione della confidenza viene impiegato per fornire al decodificatore LLM una guida di alto livello e aggiustamenti dell'attenzione a livello di frame. I test rivelano una diminuzione relativa del 17% nel tasso di errore di carattere (CER) sul benchmark AISHELL6-Whisper, segnando un nuovo stato dell'arte. È importante notare che questo metodo migliora anche l'affidabilità, riducendo il tasso di allucinazioni da oltre il 25% al 4,5%, affrontando due principali modalità di errore dell'ASR: l'incapacità di catturare il parlato sussurrato e la trascrizione erronea del rumore di fondo.
Fatti principali
- Il framework Whisper-Aware LLM è introdotto per un robusto riconoscimento del parlato sussurrato.
- Insegna a un Audio-LLM a percepire e reagire all'incertezza nel parlato sussurrato.
- Il modello impara a quantificare le carenze fisiche dei segnali acustici tramite compiti auto-supervisionati.
- Un nuovo meccanismo di decodifica con fusione della confidenza fornisce istruzioni di alto livello e modulazione dell'attenzione a livello di frame.
- Il modello raggiunge una riduzione relativa del 17% del CER su AISHELL6-Whisper, stabilendo un nuovo stato dell'arte.
- Il tasso di allucinazioni scende da oltre il 25% al 4,5%.
- L'articolo è disponibile su arXiv con identificativo 2608.10836.
- L'approccio affronta due modalità di errore: la mancata cattura del parlato sussurrato e la trascrizione allucinatoria del rumore.
Entità
Istituzioni
- arXiv