GeneFuse: Un framework multimodale che integra modelli linguistici genomici e neuroimmagini

Un nuovo framework di apprendimento multimodale chiamato GeneFuse è stato introdotto dai ricercatori per migliorare la diagnosi dei disturbi del sistema nervoso fondendo modelli linguistici genomici (GLM) con dati di neuroimmagine. Questo framework affronta il problema dell'eterogeneità tra modalità allineando le rappresentazioni genetiche provenienti da GLM pre-addestrati con le caratteristiche delle immagini. GeneFuse è composto da due elementi principali: Modulazione delle Caratteristiche Condizionata dal Genotipo (GCFM), che utilizza embedding genomici per regolare le mappe delle caratteristiche dell'immagine, e Fusione Residua Genomica con Consapevolezza dell'Incertezza (U-GRF), una strategia che incorpora l'incertezza predittiva dalle immagini per facilitare l'integrazione. Questo approccio innovativo affronta le carenze dei metodi attuali di imaging-genetica che semplificano i dati genetici in etichette rigide, trascurando il contesto della sequenza locale delle varianti correlate alla malattia. Il framework è dettagliato in un articolo recentemente presentato su arXiv (ID: 2608.08926), mostrando la promessa di unire l'IA avanzata con l'imaging medico e la genomica per una maggiore accuratezza diagnostica.