NVIDIA presenta Cosmos-H-Dreams, simulatore chirurgico in tempo reale

NVIDIA ha presentato Cosmos-H-Dreams, un simulatore generativo per robotica chirurgica che opera in tempo reale ed è condizionato dall'azione. Questo nuovo sistema si basa sul Cosmos-H-Surgical-Simulator, che crea video chirurgici futuri basati su scene iniziali e azioni robotiche. Cosmos-H-Dreams perfeziona questa capacità in un modello studente conciso utilizzando la libreria di inferenza accelerata FlashDreams. Funziona su una singola GPU NVIDIA RTX PRO 6000, raggiungendo circa 160 fotogrammi al secondo per il controllo interattivo da parte di umani o politiche apprese. È progettato per il sutura da tavolo del da Vinci Research Kit (dVRK) e si integra con il controller chirurgico Versius di CMR Surgical. La distillazione utilizza un framework insegnante-studente con supervisione auto-forzante per la generazione autoregressiva. Cosmos-H-Dreams presenta interfacce come un client browser tramite WebRTC, un client Meta Quest tramite WebXR e collegamenti diretti a politiche chirurgiche, consentendo anche estensibilità e addestramento su dataset personalizzati. Mira a facilitare la valutazione offline delle politiche, la creazione di dati sintetici e potenziali usi futuri come la telechirurgia sensibile alla latenza e la prova chirurgica interattiva.