BLINKG Benchmark Valuta i LLM per la Costruzione di Grafi di Conoscenza

I ricercatori hanno introdotto BLINKG, un benchmark per valutare l'efficacia con cui i grandi modelli linguistici (LLM) mappano schemi di dati a termini ontologici durante la generazione di grafi di conoscenza (KG). Il compito di costruire KG è notoriamente laborioso, richiedendo agli ingegneri della conoscenza di identificare equivalenze semantiche tra fonti di input e concetti ontologici. Mentre strumenti dichiarativi come RML e SPARQL-Anything hanno semplificato parti del processo, allineare elementi dello schema con termini ontologici richiede ancora trasformazioni complesse e sforzo manuale. Con i LLM che mostrano promesse nell'automatizzare la costruzione di KG, BLINKG fornisce un quadro standardizzato per valutare le loro capacità di mappatura. Il benchmark affronta la mancanza di metodi di valutazione coerenti in questo campo emergente, con l'obiettivo di guidare lo sviluppo di pipeline KG più efficienti. L'articolo è pubblicato su arXiv con identificativo 2605.19518.