PhaseCoder: Audio Spaziale Indipendente dalla Geometria per LLM Multimodali

Uno studio recente presenta PhaseCoder, un codificatore audio spaziale basato su transformer che opera indipendentemente dalle configurazioni dei microfoni, consentendo ai modelli linguistici di grandi dimensioni (LLM) multimodali di interpretare l'audio spaziale proveniente da varie schiere di microfoni. La ricerca, intitolata 'PhaseCoder: Comprensione dell'Audio Spaziale Indipendente dalla Geometria dei Microfoni per LLM Multimodali', è stata caricata su arXiv (ID 2601.21124) nella sezione Computer Science > Sound. I modelli linguistici multimodali tradizionali trattano l'audio come un flusso mono, trascurando dettagli spaziali cruciali per l'IA embodied, mentre gli attuali modelli audio spaziali sono limitati a specifiche configurazioni di microfoni. PhaseCoder utilizza l'audio multicanale grezzo e le posizioni dei microfoni per ottenere la localizzazione e generare embedding spaziali efficaci. Il team mostra che il LLM Gemma 3n può essere adattato per elaborare i 'Token Audio Spaziali' di PhaseCoder. Questo codificatore stabilisce nuovi benchmark per la localizzazione invariante rispetto ai microfoni e consente ai LLM di eseguire complessi ragionamenti spaziali e compiti di trascrizione precisa da qualsiasi schiera di microfoni. L'articolo include anche la cronologia delle sottomissioni, i riferimenti, le citazioni e i collegamenti al codice e ai dati pertinenti, rendendolo significativo per l'IA, l'audio spaziale e l'apprendimento multimodale, con implicazioni per la robotica, la realtà aumentata e le tecnologie assistive.