CARE-Bench: Nuovo benchmark valuta l'accuratezza del triage degli LLM rivolti ai pazienti

CARE-Bench è stato lanciato da ricercatori come benchmark volto a valutare la sicurezza e la precisione dei modelli linguistici di grandi dimensioni (LLM) medici e degli agenti che rispondono a richieste di sintomi prima dell'interazione con il clinico. Questo benchmark enfatizza un aspetto cruciale della sicurezza: determinare i passi successivi che l'utente dovrebbe compiere, strutturato come un compito di azione corrente a quattro etichette per turno. Include 500 casi e 1.059 prefissi di divulgazione del paziente derivati da dialoghi medici, consultazioni e domande di follow-up. Lo studio ha valutato 11 modelli su 269 round trattenuti, utilizzando metodi a risposta aperta non sollecitati e minimamente sollecitati, con un mapper fisso GPT-5.5 che categorizza le risposte nel quadro di azione a quattro etichette. I risultati indicano che i punteggi macro-F1 non sollecitati sono bassi, tra 31,2 e 50,4. Le prestazioni migliorano per 10 degli 11 modelli quando vengono sollecitati, con punteggi che vanno da 46,9 a 63,4, ma permangono errori di soglia significativi. In particolare, i modelli sollecitati spesso suggeriscono cure prima di acquisire chiarimenti necessari, rivelando una tendenza ad azioni affrettate. I dettagli del benchmark sono disponibili nell'articolo arXiv 2608.03731, recentemente presentato.