Il Contesto Semantico Migliora l'Accuratezza degli LLM nelle Query su Database del 17-23%

Uno studio recente pubblicato su arXiv (2604.25149) rivela che fornire agli LLM un documento di contesto semantico migliora notevolmente le loro prestazioni nelle query in linguaggio naturale su database analitici. I ricercatori hanno valutato tre modelli leader—Claude Opus 4.7, Claude Sonnet 4.6 e GPT-5.4—utilizzando 100 domande basate sul Cleaned Contoso Retail Dataset in ClickHouse. Ogni modello è stato sottoposto a due test: uno con il solo schema del warehouse e un altro con lo schema più un documento markdown da 4 KB che dettaglia misure, convenzioni e regole di disambiguazione. L'inclusione del documento ha portato a un aumento dell'accuratezza compreso tra +17 e +23 punti percentuali per tutti i modelli. Con il documento, le loro prestazioni variavano dal 67,7% al 68,7%, mentre senza di esso le prestazioni erano statisticamente simili. Lo studio osserva che risposte inaccurate e allucinazioni sicure si verificano quando i modelli tentano di dedurre la semantica aziendale assente dallo schema.