PhyAI: Motore di Inferenza Unificato per l'IA Fisica al Edge e nel Cloud
I ricercatori hanno introdotto un nuovo motore di inferenza chiamato PhyAI, progettato per migliorare l'intero processo di inferenza delle politiche dell'IA fisica. Questo include tutto, dalla valutazione del modello all'apprendimento per rinforzo nel cloud e al servizio GPU. PhyAI fornisce un runtime coeso che fonde l'esecuzione del grafo, la gestione della memoria e i servizi paralleli, affrontando la sfida dei programmi di inferenza frammentati, preservando al contempo la logica specifica dell'architettura attraverso adattatori di modello. Ciò consente a un codebase unificato di eseguire modelli visione-linguaggio-azione (VLA) e modelli mondo-azione (WAM) su una varietà di GPU, sia a bordo, al edge o nel cloud. Nel giorno del suo lancio, ha integrato con successo MiniCPM-Robot tramite la sua interfaccia adattatore, mostrando aumenti di velocità di 1.40x-4.65x rispetto alle versioni esistenti. Puoi trovare il documento dettagliato su arXiv utilizzando l'identificatore 2608.03682.
Fatti principali
- PhyAI è un motore di inferenza per l'IA fisica che unifica l'inferenza attraverso la valutazione del modello, il rollout RL nel cloud, il servizio GPU al edge e la distribuzione a bordo.
- Utilizza un runtime singolo con adattatori di modello per la logica specifica dell'architettura, condividendo esecuzione del grafo, kernel, gestione della memoria e servizi paralleli.
- Lo stesso codebase esegue modelli VLA e WAM su GPU singole o multiple in distribuzioni a bordo, al edge e nel cloud.
- L'interfaccia adattatore ha permesso di aggiungere MiniCPM-Robot il giorno del suo rilascio.
- PhyAI raggiunge aumenti di velocità di 1.40x-4.65x rispetto alle implementazioni ufficiali di pi0, pi0.5, GR00T N1.7 e MiniCPM-Robot.
- Il documento è disponibile su arXiv con identificatore 2608.03682.
- Il sistema è progettato per l'IA fisica in tempo reale al edge e rollout scalabili nel cloud.
Entità
Istituzioni
- arXiv