HealthCraft: Ambiente RL per la Sicurezza in Medicina d'Urgenza

È stato introdotto un nuovo ambiente di apprendimento per rinforzo chiamato HealthCraft, progettato per valutare modelli linguistici avanzati nel campo della medicina d'urgenza. Si tratta del primo ambiente RL pubblicamente disponibile che incentiva la sicurezza a livello di traiettoria in scenari realistici, derivato da Corecraft. Opera su uno stato del mondo FHIR R4 con 14 tipi di entità e 3.987 entità seed, mettendo a disposizione 24 strumenti MCP e impiegando una rubrica a doppio strato che annulla le ricompense quando vengono violati standard critici di sicurezza. Il lancio include 195 compiti suddivisi in sei categorie, valutati secondo 2.255 criteri binari (di cui 515 critici per la sicurezza), e una lista post-hoc di 10 compiti di classe negativa che si estende a 205 compiti e 2.337 criteri. I risultati V8 per due modelli frontier indicano Claude Opus 4.6 a un livello di prestazione non specificato.