HERO: Un Nuovo Framework di Apprendimento per Rinforzo per la Generazione di Referti Radiologici

Un nuovo framework di ottimizzazione delle politiche denominato HERO (Hierarchical Evidential Reasoning Optimization) è stato sviluppato da ricercatori per migliorare la Generazione di Referti Radiologici (RRG) utilizzando Modelli Linguistici Multimodali su Larga Scala (MLLM). Questo framework affronta le difficoltà nell'allineamento degli MLLM attraverso l'apprendimento per rinforzo (RL) causate dalla variazione della supervisione medica. La tradizionale Ottimizzazione delle Politiche di Gruppo Relativa (GRPO) distribuisce il credito in modo uniforme lungo il processo di generazione, causando interferenze tra segmenti, diluizione dei token e una disconnessione tra evidenza e diagnosi, che peggiora le allucinazioni cliniche. HERO introduce un metodo di ottimizzazione delle politiche fattorizzato che allinea diverse supervisioni con tre livelli di ottimizzazione: segmento, token e completamento. Ottimizza il ragionamento, la diagnosi e il grounding delle evidenze individualmente utilizzando strategie complementari e un sistema di ricompensa diversificato che include accuratezza diagnostica, qualità del ragionamento e coerenza pensiero-risposta. Risultati promettenti sono stati osservati in esperimenti condotti sui dataset MIMIC-CXR e IU-Xray. L'articolo di ricerca è disponibile su arXiv con identificativo 2601.03321.