Il dataset SciMDR potenzia il ragionamento multimodale su documenti scientifici

Un nuovo dataset di addestramento, SciMDR, è stato lanciato da ricercatori per migliorare la comprensione cross-modale nella letteratura scientifica, con 300K coppie domanda-risposta e catene di ragionamento esplicite derivate da 20K articoli scientifici. Questo dataset è stato sviluppato attraverso un approccio innovativo di sintesi e riancoraggio che bilancia scala, fedeltà e realismo. Il processo consiste in due fasi: Sintesi di QA incentrata sulle affermazioni, che produce coppie QA accurate e isolate con ragionamento per segmenti specifici, e Ri-ancoraggio a scala di documento, che integra programmaticamente queste coppie in compiti documentali completi per riflettere la complessità realistica. Inoltre, il team ha creato SciMDR-Eval, un benchmark con annotazioni esperte per valutare la comprensione multimodale in flussi di lavoro scientifici completi. Gli esperimenti indicano che i modelli perfezionati con SciMDR mostrano notevoli progressi nel ragionamento multimodale su documenti scientifici.