AnyMo: Framework Consapevole della Geometria per la Modellazione del Movimento Umano Indipendente dalla Configurazione
Un nuovo framework chiamato AnyMo è stato sviluppato da ricercatori per modellare il movimento umano utilizzando sensori inerziali indossabili, indipendentemente dalla configurazione. Questo metodo innovativo affronta il problema dei segnali inerziali, che sono significativamente influenzati da vari fattori come la posizione sul corpo, l'orientamento del sensore, la posizione di montaggio, l'hardware del dispositivo e i protocolli di campionamento. AnyMo utilizza simulazioni IMU basate sulla fisica su multiple posizioni della superficie corporea per creare una gamma di segnali sintetici. Pre-allena anche un codificatore a grafo utilizzando viste di posizionamento sintetiche accoppiate e osservazioni parziali mascherate, convertendo i dati IMU multi-posizione in token di movimento completi. Questi token vengono quindi allineati con un grande modello linguistico (LLM) per migliorare la comprensione movimento-linguaggio, facilitando il trasferimento delle rappresentazioni del movimento tra diversi dispositivi e dataset.
Fatti principali
- AnyMo è un framework consapevole della geometria per la modellazione del movimento umano indipendente dalla configurazione.
- Utilizza simulazioni IMU basate sulla fisica su posizioni dense della superficie corporea.
- Il framework pre-allena un codificatore a grafo da viste di posizionamento sintetiche accoppiate e osservazioni parziali mascherate.
- Tokenizza IMU multi-posizione in token di movimento per tutto il corpo.
- I token sono allineati con un LLM per la comprensione movimento-linguaggio.
- I segnali inerziali dipendono fortemente dalla configurazione di rilevamento: posizione sul corpo, posizione di montaggio, orientamento del sensore, hardware del dispositivo e protocollo di campionamento.
- L'obiettivo è apprendere rappresentazioni del movimento che si trasferiscano tra dispositivi e dataset.
- La ricerca è pubblicata su arXiv con ID 2605.22715.
Entità
Istituzioni
- arXiv