Audit forense rivela fallimenti di riproducibilità nel benchmark AI per radiologia

Un recente audit incentrato su un benchmark di un modello visione-linguaggio (VLM) per radiografie toraciche ha rilevato significative discrepanze tra la versione rilasciata del modello e le sue linee guida originali. Questo studio, condiviso su arXiv, ha esaminato vari aspetti come i legami dei prompt, i metadati DICOM e la completezza degli output. Ha anche valutato la coerenza dei rilasci attraverso diversi dataset come API dei provider e codici statistici. Su 300 interazioni modello-prompt pianificate, 297 hanno prodotto report utilizzabili. La revisione ha coinvolto 30 studi con 28 pazienti, rivelando che quattro immagini MONOCHROME1 non avevano l'inversione di polarità richiesta. Inoltre, un estrattore non verificato ha limitato cinque report a 4000 caratteri. L'audit ha sottolineato la necessità critica di controlli rigorosi di riproducibilità nei benchmark AI per l'imaging medico.