SQuTR Testa il Recupero di Query Parlate in Presenza di Rumore

I ricercatori hanno introdotto SQuTR, un benchmark di robustezza per sistemi di recupero di testo da query parlate. Il benchmark include un dataset su larga scala di 37.317 query uniche provenienti da sei dataset di recupero testo in inglese e cinese, coprendo molteplici domini. Il parlato è sintetizzato da 200 parlanti reali e 17 categorie di rumore ambientale del mondo reale vengono mescolate a livelli SNR controllati. Ciò consente una valutazione riproducibile in condizioni che vanno dal silenzio a condizioni molto rumorose. Il lavoro mira a superare le limitazioni dei dataset di valutazione esistenti, spesso limitati a query semplici in condizioni di rumore vincolate.