Nuovo benchmark DW-Bench testa i modelli linguistici di grandi dimensioni sul ragionamento grafico nei data warehouse

Un articolo di ricerca presenta DW-Bench, un benchmark progettato per valutare la capacità dei modelli linguistici di grandi dimensioni di ragionare sulle topologie grafiche all'interno degli schemi dei data warehouse. Il benchmark incorpora sia le relazioni di chiave esterna che i collegamenti di derivazione dei dati attraverso cinque schemi differenti. Contiene 1.046 domande generate automaticamente che sono state verificate per correttezza. I risultati sperimentali indicano che i metodi potenziati con strumenti performano significativamente meglio degli approcci statici. Tuttavia, questi metodi potenziati con strumenti raggiungono un plateau di prestazioni quando affrontano sottotipi di domande compositive difficili. L'articolo è stato inviato ad arXiv, un repository per preprint scientifici.