EIGENET: AI informata dalla geometria per la previsione della risposta all'impulso della stanza
EIGENET è un framework innovativo che sfrutta l'apprendimento multi-modale informato dalla geometria per prevedere la Risposta all'Impulso della Stanza (RIR) spazialmente variabile basandosi su osservazioni limitate. Utilizza un Transformer a attenzione alternata cross-view per migliorare progressivamente le strutture acustiche locali intra-view insieme alle relazioni spaziali globali cross-view. Ispirandosi al ray tracing acustico, un blocco di modulazione informato dalla geometria collega gli attributi geometrici allo spettro di potenza della RIR. Inoltre, una perdita ausiliaria converte le previsioni della forma d'onda a singolo target in un modello di apprendimento multi-task. Questa ricerca è stata resa disponibile su arXiv con l'identificatore 2605.28101.
Fatti principali
- 1. EIGENET è un framework multi-modale informato dalla geometria per la previsione di RIR in nuove viste con pochi campioni.
- 2. Utilizza un Transformer a attenzione alternata cross-view per il ragionamento spazio-temporale.
- 3. Un blocco di modulazione informato dalla geometria è ispirato al ray tracing acustico.
- 4. Una perdita ausiliaria consente l'apprendimento multi-task per la previsione della forma d'onda.
- 5. L'articolo è disponibile su arXiv con ID 2605.28101.
- 6. Il framework affronta il problema inverso di prevedere la RIR da osservazioni sparse.
- 7. È progettato per il rendering audio spaziale immersivo.
- 8. L'architettura sfrutta appieno il contesto multi-view multi-modale.
Entità
Istituzioni
- arXiv