LAIP: Il Pooling Audio-Informato Migliora il Grounding Spaziale nel Recupero Audio-Visivo

I ricercatori hanno introdotto un nuovo framework chiamato LAIP (Localizzazione tramite Pooling Audio-Informato) che migliora il grounding spaziale in modelli estesi di recupero audio-visivo, eliminando la necessità di annotazioni spaziali dense. I loro risultati indicano che, mentre gli strati superiori delle backbones di recupero tendono a perdere dettagli spaziali a causa del pooling globale, i token visivi intermedi mantengono informazioni spaziali organizzate. Sostituendo l'aggregazione globale tradizionale con un modulo semplificato di Pooling Spaziale Audio-Informato (AiSP), LAIP facilita la localizzazione precisa della sorgente sonora utilizzando dati debolmente supervisionati. Questo approccio sfrutta rappresentazioni latenti di modelli addestrati su una scala senza precedenti, dimostrando che l'allineamento globale può effettivamente aiutare i compiti spaziali. Lo studio affronta la difficoltà di identificare le sorgenti sonore da dati audio-visivi temporalmente sincronizzati senza richiedere supervisione a livello di pixel.