Nuovo Metodo Rileva Allucinazioni nei Modelli Linguistici di Grande Dimensione per il Parlato Utilizzando Metriche di Attenzione

Uno studio recente presenta una tecnica innovativa per identificare le allucinazioni nei Modelli Linguistici di Grande Dimensione per il Parlato (SpeechLLMs) durante l'inferenza, esaminando i pattern di attenzione. Questo metodo impiega quattro metriche derivate dall'attenzione—AUDIORATIO, AUDIOCONSISTENCY, AUDIOENTROPY e TEXTENTROPY—per individuare l'attenzione patologica associata alle allucinazioni. Utilizzando classificatori leggeri di regressione logistica addestrati su queste metriche, il processo di rilevamento diventa efficiente senza la necessità di costosi output di riferimento. I test condotti sui modelli Qwen-2-Audio e Voxtral-3B in compiti di riconoscimento vocale automatico e traduzione da parlato a testo dimostrano che questa tecnica supera sia i benchmark basati sull'incertezza che quelli precedenti basati sull'attenzione sui dati in dominio, ottenendo miglioramenti fino a +0,23 PR-AUC. Generalizza efficacemente anche a contesti ASR fuori dominio, affrontando un problema critico negli SpeechLLMs dove i segnali specifici dell'audio sfuggono al rilevamento da parte dei metodi basati sul testo per LLM. Questa ricerca è disponibile su arXiv con identificatore arXiv:2604.19565v1, classificata come annuncio incrociato, sottolineando il suo utilizzo pratico per il rilevamento in tempo reale delle allucinazioni nei modelli vocali.