I Knowledge Graph Portano l'Accuratezza degli LLM per le Operazioni su Asset Industriali dal 65% al 99%

Un nuovo studio introduce un layer di knowledge graph che migliora drasticamente l'accuratezza degli agenti basati su LLM per le operazioni su asset industriali. La ricerca, pubblicata su arXiv, si basa sul benchmark AssetOpsBench di KDD 2026, che in precedenza aveva stabilito che gli agenti GPT-4 raggiungono solo il 65% di accuratezza su 139 scenari di manutenzione industriale utilizzando archivi di documenti piatti (CouchDB, YAML, CSV). Gli autori propongono un approccio complementare: invece di modificare il paradigma di orchestrazione degli LLM, modificano il modello dati sottostante. Costruiscono un knowledge graph con 781 nodi, 955 archi e 16 tipi di relazione che rappresentano gli stessi scenari. Vengono valutate tre architetture: i gestori deterministici del grafo (senza LLM) raggiungono il 99% di accuratezza (137/139); le query Cypher generate da LLM sul grafo ottengono l'82-83% con lo stesso modello GPT-4; e la baseline originale con LLM potenziato da strumenti rimane al 65% (91/139), corrispondente al tetto massimo pubblicato nella classifica di KDD 2026. Il risultato chiave è l'uso invertito degli LLM: invece di affidarsi all'LLM per il ragionamento sui dati grezzi, la struttura del grafo consente un recupero preciso, minimizzando il coinvolgimento dell'LLM. Ciò suggerisce che il modello dati alla base degli strumenti è un fattore critico, spesso trascurato, nelle prestazioni degli agenti.