ORCA: Compressione dei Token Senza Addestramento per Scansioni TC 3D

È stata sviluppata una nuova tecnica chiamata ORCA (Aggregazione del Centroide dell'Organo) per comprimere i token visivi in scansioni TC 3D specificamente per i modelli visione-linguaggio. Questo metodo affronta il problema delle lunghe sequenze di token prodotte dai volumi TC 3D, che possono variare da migliaia a decine di migliaia per scansione. Il pooling medio a griglia convenzionale spesso fonde diverse caratteristiche anatomiche, lesioni e aria in un singolo token, causando la perdita di dettagli essenziali. ORCA utilizza la guida degli organi per combinare i token adiacenti e applica una codifica sinusoidale del centroide di ciascuna regione per mantenere l'organizzazione spaziale. Questo approccio plug-and-play, senza addestramento, produce un insieme di token personalizzabile senza richiedere modifiche al modello o alle query testuali. La valutazione di questo metodo è stata condotta su due dataset, CT-RATE e Merlin, attraverso cinque encoder e due tipi di attività. L'articolo di ricerca è disponibile su arXiv con l'identificatore 2608.00345.