ProcAgent: Assistente AI su Dispositivo per Istruzioni Procedurali
I ricercatori hanno sviluppato ProcAgent, un assistente all'avanguardia su dispositivo progettato per aiutare in compiti come l'assemblaggio di mobili e le riparazioni domestiche in ambienti dove la privacy e i tempi di risposta rapidi sono cruciali. Questo sistema innovativo funziona su un singolo NVIDIA Jetson AGX Orin e utilizza un approccio unico di proposta e verifica. Combina percezione continua a bassa latenza con un grafico di attività simbolico, verifica visione-linguaggio su richiesta e un agente di interazione basato su un grande modello linguistico (LLM). ProcAgent monitora attivamente i progressi dell'utente e si impegna in ragionamenti visivi complessi solo quando rileva confusione o deviazioni, riducendo lo sforzo mentale nel seguire le istruzioni. A differenza dei precedenti assistenti multimodali che si basano sul cloud computing, ProcAgent opera interamente sul dispositivo, rendendolo perfetto per ambienti domestici. Questo studio è disponibile su arXiv con ID 2607.24770.
Fatti principali
- ProcAgent è un assistente procedurale visivo completamente su dispositivo e basato su agenti.
- Funziona su un singolo NVIDIA Jetson AGX Orin.
- Utilizza un'architettura di proposta e verifica.
- I componenti includono percezione continua, grafico di attività simbolico, verifica visione-linguaggio su richiesta e agente di interazione basato su LLM.
- Progettato per ambienti domestici sensibili alla privacy e con vincoli di latenza, come assemblaggio di mobili e riparazioni domestiche.
- I precedenti assistenti si basano su inferenza cloud e percezione fissa sempre attiva.
- Pubblicato su arXiv con ID 2607.24770.
- Il tipo di annuncio è nuovo.
Entità
Istituzioni
- arXiv