OmniDecVAEs: Rappresentazioni Disentangled Indossabili Full-Stack
I ricercatori hanno introdotto un nuovo sistema chiamato Autoencoder Variationali di Decomposizione Omni-modali, o OmniDecVAEs, progettato per separare e comprendere i dati provenienti da vari sensori indossabili. Questo metodo affronta i limiti degli approcci esistenti combinando classificazione, apprendimento di rappresentazioni chiare, fusione dei dati e modellazione generativa per diverse serie temporali. Basandosi sui precedenti DecVAEs, gli OmniDecVAEs utilizzano una perdita di decomposizione auto-supervisionata multi-vista insieme a una configurazione unica di autoencoder asimmetrico per apprendere sottospazi tempo-frequenza adattati a ciascuna modalità. Questo quadro adattabile può supportare molteplici tipi di dati. I risultati di un impegnativo compito di riconoscimento dell'attività umana dimostrano la sua efficacia. È possibile trovare l'articolo di ricerca completo su arXiv con ID 2608.07385.
Fatti principali
- 1. OmniDecVAEs è un nuovo quadro per l'apprendimento di rappresentazioni disentangled nell'informatica indossabile.
- 2. Affronta simultaneamente la classificazione specifica del compito, l'apprendimento di rappresentazioni interpretabili, la fusione e la modellazione generativa.
- 3. Il quadro estende i DecVAEs con sottospazi latenti tempo-frequenza condizionati dalla modalità.
- 4. Utilizza una perdita di decomposizione auto-supervisionata multi-vista e un autoencoder asimmetrico condiviso.
- 5. Il metodo è progettato per un numero arbitrario di modalità ed è scalabile e unificato.
- 6. I risultati sono riportati su un impegnativo compito di riconoscimento dell'attività umana omni-modale.
- 7. L'articolo è disponibile su arXiv con identificatore 2608.07385.
Entità
Istituzioni
- arXiv