Sistema di Valutazione Basato su Grafi per LLM Specifici di Dominio

Un nuovo framework di valutazione che utilizza tecniche basate su grafi per modelli linguistici specifici di dominio converte linee guida cliniche strutturate in un grafo di conoscenza interattivo, consentendo la creazione dinamica di query di valutazione attraverso l'esplorazione del grafo. Questo sistema fornisce tre garanzie chiave: copertura completa delle relazioni delle linee guida, resistenza alla contaminazione superficiale tramite variazione combinatoria e validità derivante da una struttura a grafo redatta da esperti. Applicato alle linee guida WHO IMCI, genera domande a scelta multipla clinicamente rilevanti riguardanti l'identificazione dei sintomi, le opzioni terapeutiche, la classificazione della gravità e la cura di follow-up. Una valutazione di cinque modelli linguistici evidenzia lacune prestazionali consistenti, con punti di forza nel riconoscimento dei sintomi ma notevoli carenze in altri aspetti.