I modelli di eventi medici basati su IA dimostrano che le scelte di rappresentazione influenzano l'accuratezza predittiva nei dati di terapia intensiva

Uno studio pubblicato su arXiv (2604.16775v1) dimostra che la rappresentazione tramite tokenizzazione influenza significativamente le prestazioni predittive dei modelli generativi di eventi medici, indipendentemente da altri fattori architetturali. I ricercatori hanno condotto tre esperimenti utilizzando 28 modelli transformer corrispondenti addestrati su dati MIMIC-IV con un budget fisso di pre-addestramento di un'epoca, valutando 30 esiti clinici. Nel primo esperimento, la tokenizzazione fusa codice-valore ha migliorato l'AUROC della predizione di mortalità da 0,891 a 0,915 con risultati statisticamente significativi (p-value aggiustato BH < 0,001). Il secondo esperimento ha esaminato metodi di codifica dei valori—inclusi binari rigidi, discretizzazione morbida e xVal normalizzato per codice—incrociati con approcci di codifica temporale come ordine degli eventi, token temporali e RoPE relativo all'ammissione. Il terzo esperimento ha confrontato i codici nativi MIMIC per laboratorio e parametri vitali con i codici rimappati CLIF con bracci di perturbazione che preservano la compressione. La ricerca evidenzia che la tokenizzazione degli eventi clinici delimita ogni predizione di questi modelli generativi, eppure le decisioni di rappresentazione sono raramente isolate dalle scelte di sistema e architetturali nelle valutazioni tipiche. Il benchmark stabilisce che le scelte di rappresentazione effettuate prima dell'addestramento influenzano sostanzialmente l'accuratezza predittiva a valle nelle applicazioni mediche di IA.