Nuovo dataset e modello per la valutazione delle figure scientifiche nella revisione tra pari
Un nuovo metodo chiamato SciFigAlign è stato sviluppato da ricercatori per valutare le figure scientifiche durante la revisione tra pari, affrontando le carenze delle tecniche convenzionali di valutazione della qualità delle immagini. È stato compilato un dataset annotato comprendente 3.857 figure tratte da articoli di conferenze sottoposti a revisione paritaria, con ciascuna figura valutata su quattro criteri: Chiarezza, Rilevanza, Informatività e un quarto criterio non specificato. La ricerca indica che i modelli IQA tradizionali sono inadeguati per valutare il supporto agli argomenti scientifici, mentre gli approcci basati su CLIP non colgono il contesto del manoscritto e le valutazioni zero-shot con LLM/VLM producono punteggi eccessivamente concentrati. Questa iniziativa mira a migliorare la valutazione automatica delle figure integrando informazioni visive e testuali.
Fatti principali
- SciFigAlign è un nuovo metodo per valutare le figure scientifiche.
- Il dataset contiene 3.857 figure da articoli di conferenze sottoposti a revisione paritaria.
- Le figure sono valutate su Chiarezza, Rilevanza, Informatività e una quarta dimensione.
- I modelli IQA tradizionali non riescono a valutare il supporto agli argomenti scientifici.
- I metodi basati su CLIP non comprendono il contesto del manoscritto.
- I giudizi zero-shot con LLM/VLM producono punteggi eccessivamente concentrati.
- L'approccio si concentra sull'allineamento delle prove visive e testuali.
- Pubblicato su arXiv con ID 2607.27066.
Entità
Istituzioni
- arXiv