Nuovo Benchmark SciFigBench Valuta l'Affidabilità dei VLM su Figure Scientifiche
È stato lanciato un nuovo standard diagnostico, SciFigBench, per valutare i modelli visione-linguaggio (VLM) nel contesto della comprensione di figure scientifiche, con un'enfasi sulla coerenza comportamentale in condizioni di incertezza. Questo benchmark, descritto nell'articolo arXiv 2608.13267, colma una lacuna nelle attuali valutazioni dei VLM che si concentrano principalmente sull'accuratezza nella percezione e nel ragionamento, spesso trascurando come i modelli rispondono quando i dati visivi sono assenti o fuorvianti. SciFigBench presenta 250 figure, tutte meticolosamente annotate da esseri umani, richiedendo oltre 600 ore di lavoro su tre criteri di valutazione. Le figure sono potenziate attraverso vari metodi, risultando in oltre 34.000 scenari di valutazione per test rigorosi. Inoltre, l'articolo introduce il framework Ammettenza-Resistenza-Induttanza (A-R-I) per determinare se i modelli riconoscono informazioni inadeguate. Questo avanzamento è cruciale per i campi dell'IA e della tecnologia, offrendo un approccio di valutazione più completo per i VLM, che sono sempre più utilizzati in applicazioni scientifiche ed educative.
Fatti principali
- SciFigBench è un nuovo benchmark diagnostico per la comprensione di figure scientifiche da parte dei VLM.
- Valuta percezione, ragionamento e affidabilità comportamentale in condizioni di incertezza.
- Il benchmark contiene 250 figure con annotazioni umane.
- Sono state investite oltre 600 ore di lavoro di annotazione.
- Sono stati creati più di 34.000 setup di valutazione per test di stress.
- Il framework A-R-I è proposto per valutare il riconoscimento da parte dei modelli di informazioni insufficienti.
- L'articolo è disponibile su arXiv con ID 2608.13267.
- I benchmark VLM esistenti si concentrano sull'accuratezza di percezione e ragionamento, non sull'affidabilità comportamentale.
Entità
Istituzioni
- arXiv