SERUM: Un framework di IA estrae modelli di comportamento degli utenti dalle registrazioni dello schermo
Uno studio recente presenta SERUM, un framework multi-passaggio progettato per derivare modelli comportamentali a stati finiti da video egocentrici non strutturati, in particolare registrazioni dello schermo. Questo sistema impiega l'annotazione VLM gerarchica per alternare tra riconoscimento dell'attività e inferenza dell'intento, migliorando le etichette attraverso il contesto raccolto per ridurre allucinazioni e confusione temporale. Combina stati simili utilizzando embedding di frasi e soglie calibrate da esseri umani per creare una tassonomia concisa. Le prestazioni del framework sono valutate applicando modelli di Markov del primo ordine alle sequenze di etichette generate e valutando l'accuratezza predittiva. La ricerca è disponibile su arXiv con identificativo 2607.29181.
Fatti principali
- SERUM è un framework multi-passaggio per estrarre modelli comportamentali dalle registrazioni dello schermo.
- Utilizza l'annotazione VLM gerarchica e un approccio a finestra scorrevole.
- Il framework alterna tra passaggi di riconoscimento dell'attività e inferenza dell'intento.
- Le etichette vengono perfezionate utilizzando il contesto precedente accumulato per ridurre allucinazioni e confusione temporale.
- Gli stati sinonimi vengono fusi tramite embedding di frasi e soglie calibrate da esseri umani.
- La valutazione comporta l'adattamento di modelli di Markov del primo ordine sulle sequenze di etichette.
- L'articolo è disponibile su arXiv con identificativo 2607.29181.
- La ricerca affronta la sfida di costruire modelli utente da attività dello schermo non strutturate.
Entità
Istituzioni
- arXiv