ERUnderstand: Benchmarking dei VLM sui Diagrammi Entità-Relazione
I ricercatori hanno introdotto ERUnderstand, il primo benchmark completo per la comprensione dei Diagrammi Entità-Relazione (ERD). Comprende una raccolta di 2.960 diagrammi tratti da risorse educative, schemi reali ed esempi sintetici in vari campi e notazioni, inclusi elementi di Entità-Relazione Estesi. Ogni diagramma è accompagnato da un formato leggibile dalla macchina per una valutazione approfondita. Testato con modelli avanzati di Visione-Linguaggio (VLM), i risultati hanno mostrato buone prestazioni sugli elementi di base (F1 > 0,74), ma un notevole calo di accuratezza per entità deboli (F1 a 0,28), attributi multivalore (F1 a 0,14) e relazioni N-arie (F1 a 0,07). Questo studio evidenzia i limiti degli attuali VLM nella comprensione di diagrammi strutturati.
Fatti principali
- ERUnderstand è il primo benchmark su larga scala per la comprensione strutturata dei diagrammi ER.
- Il dataset include 2.960 diagrammi da fonti educative, reali e sintetiche.
- I diagrammi coprono diversi domini, notazioni e costrutti di Entità-Relazione Estesi.
- Ogni diagramma ha una rappresentazione standardizzata leggibile dalla macchina per la valutazione.
- I VLM all'avanguardia raggiungono un F1 > 0,74 sugli elementi ERD comuni.
- Le prestazioni scendono a 0,28 F1 sulle entità deboli.
- Gli attributi multivalore ottengono solo 0,14 F1.
- Le relazioni N-arie raggiungono un punteggio di appena 0,07 F1.
Entità
—