GazeWorld: Modello AI usa tracciamento oculare dei radiologi per imaging medico
Un team di ricercatori ha presentato GazeWorld, un innovativo modello di imaging medico che interpreta le informazioni di tracciamento oculare dei radiologi come percorsi all'interno di un'immagine. Questo modello predice rappresentazioni latenti delle aree su cui si concentra lo sguardo in modo autoregressivo e incorpora una componente di completamento spaziale per le aree non esaminate. Durante l'inferenza, produce rappresentazioni di patch indipendentemente dai dati reali di tracciamento oculare. Le caratteristiche statiche di GazeWorld hanno dimostrato una precisione diagnostica eccezionale in nove scenari supervisionati utilizzando i dataset CheXpert, RSNA Pneumonia e SIIM-ACR Pneumothorax, raggiungendo la massima accuratezza nelle valutazioni zero-shot.
Fatti principali
- GazeWorld è un modello mondo per imaging medico.
- Utilizza i dati di tracciamento oculare dei radiologi come traiettorie.
- Predice autoregressivamente rappresentazioni latenti delle patch fissate.
- Ha un ramo di completamento spaziale per le regioni non visitate.
- All'inferenza, genera rappresentazioni di patch senza dati reali di tracciamento oculare.
- Le caratteristiche congelate di GazeWorld raggiungono una precisione diagnostica all'avanguardia.
- Testato sui dataset CheXpert, RSNA Pneumonia e SIIM-ACR Pneumothorax.
- Raggiunge la massima accuratezza zero-shot.
Entità
Istituzioni
- arXiv