EchoChain Valuta gli Assistenti Vocali AI sulla Gestione delle Interruzioni a Metà Discorso

È stato lanciato un nuovo benchmark denominato EchoChain per valutare le prestazioni degli assistenti vocali in tempo reale quando affrontano interruzioni durante le loro risposte. I tradizionali benchmark di dialogo parlato si concentrano sulle interazioni a turni e trascurano questo specifico aspetto di fallimento. EchoChain facilita dialoghi basati su scenari, introducendo interruzioni in un punto coerente rispetto all'inizio del discorso dell'assistente, consentendo confronti equi tra vari sistemi di intelligenza artificiale. Evidenzia tre modelli di fallimento prevalenti nelle risposte successive alle interruzioni: inerzia contestuale, amnesia da interruzione e spostamento dell'obiettivo. In uno studio di controllo half-duplex accoppiato, i fallimenti totali sono stati ridotti del 40,2% rispetto alle sessioni interrotte, indicando che molti errori derivano dal ragionamento sotto interruzione piuttosto che dalla sola complessità del compito. Nessuno dei modelli vocali in tempo reale testati ha superato un tasso di successo del 50%. La ricerca che descrive EchoChain è disponibile su arXiv con l'identificatore arXiv:2604.16456v1.