Nuovo Benchmark per l'Analisi di Lacune e Sovrapposizioni nei Grafi di Conoscenza nei Documenti Politici

Un nuovo benchmark per valutare la qualità dei grafi di conoscenza si concentra sull'analisi di lacune e sovrapposizioni in documenti politici come contratti assicurativi. L'approccio valuta se le rappresentazioni basate su ontologie possono rispondere a domande di competenza che interessano agli utenti, con risultati riproducibili e spiegabili tracciabili alle evidenze. Dati scenari specifici, il benchmark determina quali documenti li supportano (sovrapposizione) e quali no (lacuna), fornendo giustificazioni difendibili. Questo compito testa la prontezza dei KG direttamente attraverso differenze nella copertura e nelle restrizioni piuttosto che nei dati mancanti o nell'espressività delle query. Il benchmark eseguibile e verificabile allinea il testo contrattuale in linguaggio naturale con ontologie formali e verità di base collegate alle evidenze, consentendo confronti sistematici dei metodi. Il documento arXiv:2604.10853v1 presenta questo framework come strumento di valutazione orientato ai compiti.