ChartAnno: Nuovo Benchmark Valuta i MLLM sull'Annotazione dei Grafici
ChartAnno è stato presentato dai ricercatori come un benchmark per valutare i modelli linguistici multimodali di grandi dimensioni (MLLM) specificamente per la generazione di annotazioni di grafici. Questo benchmark presenta 1.200 grafici autentici, ciascuno accompagnato da codice e istruzioni di annotazione che variano in specificità su tre livelli. La valutazione ha coinvolto dieci MLLM rappresentativi testati in due condizioni principali di input: utilizzando solo il codice del grafico e con sia il codice del grafico che le immagini del grafico, insieme a uno studio separato incentrato esclusivamente sulle immagini dei grafici. I risultati rivelano che i modelli proprietari generalmente superano le loro controparti, sebbene i modelli open-source su larga scala stiano colmando il divario. Questo studio enfatizza l'annotazione dei grafici, un compito comunicativo complesso che richiede ai modelli di interpretare i messaggi intesi e la semantica dei grafici. La ricerca completa è accessibile su arXiv (arXiv:2608.03464).
Fatti principali
- ChartAnno è un nuovo benchmark per valutare i MLLM sulla generazione di annotazioni di grafici.
- Contiene 1.200 grafici del mondo reale con codice e istruzioni di annotazione abbinati.
- Le istruzioni sono fornite a tre livelli di specificità.
- Sono stati valutati dieci MLLM rappresentativi.
- Sono state testate due impostazioni di input principali: solo codice del grafico e codice del grafico più immagine del grafico.
- È stato anche condotto uno studio di ablazione con sole immagini dei grafici.
- I modelli proprietari sono complessivamente più forti, ma i modelli open-source stanno colmando il divario.
- L'articolo è disponibile su arXiv con ID 2608.03464.
Entità
Istituzioni
- arXiv