ConfBench: Nuovo Benchmark per la Calibrazione di Modelli Visione-Linguaggio nell'Estrazione di Documenti

Un team di ricercatori ha lanciato ConfBench, il primo benchmark dedicato alla calibrazione nell'estrazione di informazioni chiave (KIE) utilizzando modelli visione-linguaggio (VLM). Questo benchmark affronta il problema dei punteggi di confidenza affidabili nell'elaborazione intelligente dei documenti (IDP), dove i modelli devono decidere se automatizzare l'estrazione o rimandarla all'analisi umana. I benchmark precedenti hanno principalmente presentato campioni puliti e di alta qualità, risultando in aree a bassa accuratezza insufficienti per la valutazione della calibrazione. ConfBench è stato creato implementando 20 pipeline di degradazione controllata su una collezione variegata di documenti, producendo 1.346 varianti e oltre 70.000 valutazioni a livello di entità su tutta la gamma di accuratezza. Lo studio valuta quattro VLM proprietari e tre a peso aperto utilizzando metodi di stima della confidenza verbalizzati e log-probabilità su tre tipi di input. I risultati principali indicano: (i) la modalità OCR+Immagine produce stime di confidenza più precise; (ii) la capacità del modello è l'influenza primaria, con la qualità della confidenza che aumenta costantemente con la capacità all'interno della famiglia Claude. L'articolo di ricerca è disponibile su arXiv con l'identificatore 2608.01792.