I Prompt DEI Inducono i Modelli di IA a Inventare Dati Demografici dei Pazienti

Un nuovo studio da arXiv (2608.15254) rivela un significativo effetto collaterale dell'uso di linee guida su diversità, equità e inclusione (DEI) nei prompt dei modelli linguistici in contesti clinici. La ricerca, condotta su 47 modelli, quattro benchmark medici e 376.000 risposte, ha scoperto che aggiungere un singolo prompt DEI a una domanda medica induce i modelli a iniettare attributi demografici—come razza, stato socioeconomico o sesso—che non erano presenti nella domanda originale. Questo fenomeno, chiamato 'iniezione demografica', riscrive l'identità del paziente e si verifica in tutti i 47 modelli testati. Il tasso di iniezione salta dallo 0,7% al 33,1% (un aumento di 47 volte) quando viene aggiunto un prompt DEI, e questo effetto è attribuito al contenuto di equità stesso piuttosto che alla lunghezza aggiunta, poiché un controllo con lunghezza corrispondente mostra un aumento di 18 volte (p=1,4x10^-14). Mentre la maggior parte del contenuto iniettato è una dichiarazione sulla popolazione generale che non altera la risposta, un sottoinsieme più piccolo attribuisce caratteristiche al paziente specifico o cambia l'opzione selezionata (0,25-2,4%). Lo studio evidenzia un potenziale rischio nel seguire le linee guida cliniche sull'IA che raccomandano prompt attenti alla DEI, poiché potrebbe inavvertitamente travisare i pazienti e influenzare l'accuratezza diagnostica. I risultati sottolineano la necessità di una valutazione attenta dell'ingegneria dei prompt nelle applicazioni mediche dell'IA.