CodeClinic Benchmark Testa le Abilità di Ragionamento Clinico degli LLM

C'è un nuovo benchmark chiamato CodeClinic che testa quanto bene gli agenti basati su modelli linguistici di grandi dimensioni possono creare e utilizzare abilità cliniche riutilizzabili, superando le restrizioni dei sistemi di strumenti fissi. Utilizza il dataset MIMIC-IV per automatizzare processi come il monitoraggio dei pazienti in terapia intensiva e il tracciamento della loro salute attraverso registri elettronici. I metodi attuali dipendono da strumenti curati manualmente per identificare la sepsi e valutare l'insufficienza d'organo, che richiedono molta manutenzione da parte di esperti, e la generazione di codice zero-shot spesso porta a ragionamenti errati. CodeClinic ha due compiti principali: il monitoraggio longitudinale in terapia intensiva, che traccia il progresso del paziente, e la ricerca compositiva di informazioni, che valuta quanto bene le abilità si integrino per affrontare domande complesse. Questo benchmark mira a migliorare l'adattabilità a linee guida cliniche specifiche riducendo al contempo la dipendenza da librerie di strumenti rigide.