TORUS: Nuovo Benchmark Testa l'Autocoerenza dei Modelli Audio

I ricercatori hanno introdotto TORUS, il primo test di autocoerenza per modelli audio unificati, progettato per valutare se questi modelli possono comprendere le proprie generazioni audio. Il benchmark comprende 48 test in tre fasi con 432 domande a sei opzioni che coprono parlato, suoni e musica in cinque famiglie di compiti. In una valutazione di cinque modelli unificati aperti e di una baseline a cascata che combina modelli specializzati all'avanguardia, il miglior modello unificato ha raggiunto un'accuratezza del 50,5%, rispetto al 63,2% della baseline a cascata e a un limite casuale del 16,7%. I risultati indicano che i modelli unificati hanno particolarmente difficoltà nei compiti di editing audio. L'articolo è disponibile su arXiv con l'identificatore 2607.28896.