Agente Analitico 7B con Regole Supera Baseline 32B con Prompt Diretto

Uno studio recente ha presentato WarehouseReliabilityBench, un benchmark composto da 400 attività congelate su due magazzini sintetici, volto a valutare gli agenti analitici LLM basandosi su fallimenti di produzione piuttosto che sull'accuratezza della sintassi SQL. Questo benchmark include richieste con due definizioni aziendali accettabili, domande a cui il magazzino non può rispondere, colonne deprecate dopo aggiornamenti dello schema e query che possono essere eseguite con successo ma producono cifre aziendali errate. Inoltre, la ricerca introduce QueryProof, un agente 7B che utilizza regole provenienti da un livello semantico e da un catalogo fisico per guidare le sue azioni, validando ogni risposta tramite controlli deterministici post-esecuzione. In una suddivisione di test sintetici di 80 attività, QueryProof ha superato una baseline 32B con prompt diretto di +0,237, con un bootstrap appaiato pre-registrato che garantisce che ogni verbo di affermazione sia stato fissato prima dell'esistenza dei numeri. L'articolo è disponibile su arXiv con l'identificatore 2608.09254.