LongDocBench: Nuovo benchmark per il recupero della gerarchia del sommario e delle relazioni contestuali in documenti lunghi
Un nuovo benchmark chiamato LongDocBench è stato lanciato da ricercatori per valutare il recupero delle strutture a livello di documento in testi lunghi. Esso enfatizza due compiti principali: il recupero della gerarchia del Sommario (TOC) e la comprensione delle relazioni contestuali. Questi compiti richiedono la ricostruzione di gerarchie TOC che si estendono su più pagine e l'identificazione dei collegamenti da tabelle e figure alle rispettive didascalie, note e fonti, spesso in un formato uno-a-molti. Mentre i benchmark esistenti affrontano principalmente il riconoscimento degli elementi a livello di pagina e compiti correlati, non comprendono appieno queste sfide a livello di documento. LongDocBench include 85 report finanziari autentici, libri di testo e articoli accademici, per un totale di 2.582 pagine, con singoli documenti che raggiungono fino a 105 pagine. Questa iniziativa mira a colmare il divario di valutazione per questi importanti compiti. I dettagli sono stati condivisi su arXiv con l'identificatore 2608.15064.
Fatti principali
- LongDocBench è un nuovo benchmark per il recupero della struttura a livello di documento.
- Valuta due compiti: Recupero della Gerarchia del Sommario e Recupero delle Relazioni Contestuali.
- Il benchmark include 85 documenti reali: report finanziari, libri di testo e articoli accademici.
- I documenti coprono 2.582 pagine, con fino a 105 pagine per documento.
- I benchmark esistenti si concentrano su compiti a livello di pagina, non a livello di documento.
- I compiti implicano la ricostruzione di gerarchie TOC su più pagine e l'identificazione dei collegamenti da tabelle/figure a didascalie, note e fonti.
- L'annuncio è stato fatto su arXiv con l'identificatore 2608.15064.
- Il benchmark affronta una lacuna nella valutazione del recupero della struttura a livello di documento.
Entità
—