DIAGRAMS: Un Framework per l'Attribuzione a Livello di Ragionamento nel QA su Diagrammi
Il recentemente introdotto framework DIAGRAMS affronta l'attribuzione a livello di ragionamento nel question answering (QA) su diagrammi, associando ogni coppia domanda-risposta a tutte le aree visive rilevanti necessarie per la derivazione della risposta, piuttosto che solo alla risposta finale. Questo sistema separa la logica dell'interfaccia dai formati JSON specifici del dataset attraverso un meta-schema interno e adattatori per dataset. Conduce una selezione delle evidenze condizionata dal QA e identifica le regioni necessarie, creando coppie QA mancanti o regioni potenziali per la revisione umana. I test sono stati condotti su sei dataset di QA su diagrammi, rivelando che le evidenze suggerite dal modello miglioravano l'efficienza delle annotazioni.
Fatti principali
- DIAGRAMS è un framework leggero e basato su schema per la revisione del QA su diagrammi.
- Disaccoppia la logica dell'interfaccia dalle strutture JSON specifiche del dataset.
- Il sistema utilizza un meta-schema interno e adattatori per dataset.
- Esegue una selezione delle evidenze condizionata dal QA e propone le regioni richieste.
- Quando le coppie QA o le regioni candidate sono mancanti, le genera.
- Supporta la verifica e il perfezionamento umano.
- Il framework è stato testato su sei dataset di QA su diagrammi.
- Le evidenze suggerite dal modello migliorano l'efficienza delle annotazioni.
Entità
Istituzioni
- arXiv