NL2SHACL-Bench: Nuova Suite di Benchmark per la Traduzione dal Linguaggio Naturale a SHACL
Una nuova suite di benchmark denominata NL2SHACL-Bench è stata sviluppata da ricercatori per valutare l'efficacia con cui i requisiti in linguaggio naturale possono essere tradotti in SHACL, essenziale per la validazione dei knowledge graph RDF. Questa suite colma una lacuna nella disponibilità di benchmark specifici per questo compito e affronta la difficoltà di valutare le forme generate oltre il semplice confronto di stringhe, poiché forme semanticamente simili possono variare nella serializzazione e nella struttura. Il team ha testato quattro modelli linguistici di grandi dimensioni (LLM) all'avanguardia utilizzando NL2SHACL-Bench. I risultati rivelano che, sebbene questi LLM possano generare SHACL sintatticamente corretto, spesso non riescono a creare vincoli semanticamente equivalenti per schemi logici e strutturali complessi. L'articolo di ricerca è disponibile su arXiv con l'identificatore 2608.07530.
Fatti principali
- NL2SHACL-Bench è una suite di benchmark per la traduzione dal linguaggio naturale a SHACL.
- SHACL è utilizzato per la validazione dei knowledge graph RDF.
- Il benchmark affronta la mancanza di benchmark dedicati per NL2SHACL.
- Sono stati valutati quattro modelli linguistici di grandi dimensioni all'avanguardia.
- Gli LLM attuali generano SHACL sintatticamente valido ma hanno difficoltà con l'equivalenza semantica per schemi complessi.
- L'articolo è disponibile su arXiv con l'identificatore 2608.07530.
Entità
Istituzioni
- arXiv