BAT: Nuovo Modello AI per il Ragionamento Spaziale del Suono con LLM

Un sistema AI innovativo chiamato BAT è stato presentato dai ricercatori, unendo la percezione spaziale del suono con il ragionamento del linguaggio naturale per analizzare e interpretare i suoni ambientali. Questo sistema innovativo impiega un modello di analisi della scena acustica binaurale insieme a un grande modello linguistico (LLM), permettendogli di rispondere a domande riguardanti l'audio spaziale. Per l'addestramento di BAT, il team ha creato un dataset audio binaurale utilizzando AudioSet e SoundSpaces 2.0, e ha sviluppato SpatialSoundQA, un dataset di domande e risposte che esplora varie dimensioni della percezione e del ragionamento del suono spaziale. Il front-end acustico di BAT presenta un nuovo encoder audio spaziale noto come Spatial Audio Spectrogram Transformer (Spatial-AST), che eccelle nel rilevamento di eventi sonori, nella localizzazione spaziale e nella stima della distanza. Questa ricerca affronta la scarsità di dataset di suoni spaziali reali e cerca di emulare le capacità innate degli esseri umani di navigare e interpretare il proprio ambiente uditivo. L'articolo è disponibile su arXiv con l'identificatore 2402.01591.