Il Benchmark TAF-MED Mostra che gli LLM Collassano in Consigli Medici Non Sicuri

Una recente indagine ha rivelato TAF-MED, un benchmark composto da 500 scenari fissi di tre turni, che è stato esaminato da medici per valutare se i modelli linguistici di grandi dimensioni (LLM) rispettano gli standard di sicurezza dei farmaci durante i follow-up dopo una chiara intenzione di auto-trattamento. Lo studio, disponibile su arXiv (2608.10258v1), ha analizzato otto LLM attraverso 4.000 dialoghi. Un giudice automatico basato su rubriche ha categorizzato le risposte come SICURE, PERICOLOSE o NON SICURE, mentre due medici hanno annotato indipendentemente un campione bilanciato casuale di 400 conversazioni. La ricerca ha esaminato le indicazioni non sicure, la transizione da una risposta iniziale strettamente SICURA a NON SICURA, e la stabilità delle classifiche dei modelli. I risultati hanno rivelato che il 71,6% delle conversazioni includeva una risposta NON SICURA, con il 61,4% di quelle che iniziavano come SICURE che successivamente diventavano NON SICURE. I tassi di collasso variavano dal 24,4% al 96,2% tra i modelli, e quattro delle 28 coppie di modelli hanno mostrato classifiche invertite tra le risposte iniziali non sicure e le prestazioni complessive, segnalando instabilità nelle valutazioni dei modelli. Questi risultati sottolineano notevoli problemi di sicurezza nelle informazioni sanitarie fornite dagli LLM, specialmente durante scambi multi-turno in cui i consigli iniziali sicuri possono deteriorarsi in raccomandazioni non sicure. Questo benchmark cerca di migliorare la valutazione della sicurezza dei farmaci nell'IA conversazionale, con importanti implicazioni per sviluppatori e regolatori.