I Backbone LLM Consentono un Riconoscimento Efficiente e Adattivo dell'Attività Umana
Uno studio recente suggerisce di sfruttare grandi modelli linguistici preaddestrati (LLM) come strutture temporali universali per il riconoscimento dell'attività umana (HAR) basato su sensori, invece di sviluppare modelli Transformer specifici per il compito da zero. Questo metodo incorpora una proiezione convoluzionale strutturata per tradurre i dati multivariati di accelerometro e giroscopio nello spazio latente dell'LLM, collegando efficacemente le differenze tra serie temporali inerziali e linguaggio. Mantenendo statico il backbone preaddestrato, questa strategia riduce i costi di addestramento e le necessità di dati, migliorando al contempo l'adattabilità ai cambiamenti di dominio. La ricerca è disponibile su arXiv con ID 2605.12019.
Fatti principali
- L'articolo propone di riutilizzare gli LLM come backbone temporali generici per l'HAR.
- Una proiezione convoluzionale strutturata mappa i segnali inerziali nello spazio latente dell'LLM.
- Il backbone preaddestrato viene mantenuto congelato, riducendo i costi di addestramento.
- L'approccio mira a migliorare l'adattabilità ai cambiamenti di dominio.
- L'articolo è pubblicato su arXiv con ID 2605.12019.
- Il metodo utilizza dati di accelerometro e giroscopio.
- Evita di addestrare Transformer specifici per il compito da zero.
- Il cambio di paradigma affronta gli alti costi di addestramento e i requisiti di dati.
Entità
Istituzioni
- arXiv