ExtractBench: Nuovo Benchmark per l'Estrazione Guidata da Schema
È stato lanciato un nuovo framework di valutazione chiamato ExtractBench per migliorare la valutazione dei processi di estrazione guidata da schema nei documenti aziendali. Presentato in un recente articolo su arXiv, misura aspetti cruciali come accuratezza e completezza, considerando anche diversi costi. ExtractBench include 4.869 pagine provenienti da 370 documenti, rappresentanti 67 categorie e otto distinti settori aziendali. Il processo di valutazione combina il consenso di sistemi automatizzati per documenti reali, valori validati per campioni sintetici e controlli umani per i moduli. Fornisce metriche per l'accuratezza dei valori insensibile all'ordine e il grounding, insieme a prime indicazioni sulle prestazioni di modelli visione-linguaggio commerciali, sebbene i dettagli rimangano limitati.
Fatti principali
- ExtractBench è un benchmark per l'estrazione guidata da schema.
- È il primo a valutare insieme accuratezza dei valori, completezza dei record, grounding e costi.
- Il dataset include 4.869 pagine provenienti da 370 documenti aziendali.
- Copre 8 domini aziendali e 67 tipi di documenti.
- Il processo di curatela utilizza l'accordo tra sistemi indipendenti, valori noti e verifica umana.
- Le metriche includono F1 dei valori insensibile all'ordine e F1 del grounding a livello di parola e di pagina.
- I modelli visione-linguaggio commerciali vengono valutati su questo benchmark.
- L'articolo è disponibile su arXiv con ID 2607.29677.
Entità
Istituzioni
- arXiv