I LLM di frontiera mostrano alti tassi di chiusura prematura in compiti medici

Un nuovo studio su arXiv (2605.15000) esplora il problema della chiusura prematura nei modelli linguistici di grandi dimensioni (LLM) avanzati. Ciò accade quando i modelli si attaccano erroneamente a una risposta invece di scegliere di chiarire o rifiutare. I ricercatori hanno esaminato MedQA (n=500) e AfriMed-QA (n=490), escludendo le risposte corrette, e hanno trovato tassi di falsa azione di base compresi tra il 55-81% per MedQA e il 53-82% per AfriMed-QA. Inoltre, in valutazioni a risposta aperta, i modelli hanno fornito risposte inappropriate per il 30% delle 861 domande di HealthBench e per il 78% delle 191 query avversarie create da medici. Tuttavia, l'uso di prompt orientati alla sicurezza ha contribuito a ridurre il numero di chiusure premature in questi modelli.