SCHEMA: Un framework topology-aware per rilevare allucinazioni negli agenti AI scientifici

È stato lanciato un nuovo framework di valutazione, SCHEMA, per affrontare le allucinazioni negli agenti basati su modelli linguistici di grandi dimensioni (LLM) utilizzati nella ricerca scientifica. Descritto in un articolo su arXiv (ID: 2608.00711), questo rappresenta il primo sistema di valutazione che sia sia basato su prove che topology-aware per agenti scientifici. SCHEMA genera automaticamente grafi di concetti scientifici da semi di benchmark e letteratura, creando compiti basati su grafi che comprendono verifica di affermazioni, ragionamento multi-hop, spiegazioni a risposta aperta e generazione di codice sperimentale. Il framework affronta la limitazione dei benchmark di allucinazione esistenti, che spesso trattano i fatti in isolamento e applicano metriche di accuratezza uniformi, trascurando l'interconnessione della conoscenza scientifica. Considerando questa struttura topologica, SCHEMA mira a fornire una valutazione più accurata delle prestazioni degli agenti, cruciale in contesti scientifici dove una singola affermazione errata può far deviare interi percorsi di ricerca. L'articolo è stato presentato su arXiv come annuncio 'nuovo'.