SpecVQA: un benchmark per testare la comprensione degli spettri scientifici nei MLLM

I ricercatori hanno introdotto SpecVQA, un benchmark progettato per valutare la capacità dei modelli linguistici multimodali di grandi dimensioni (MLLM) di comprendere e ragionare sugli spettri scientifici. Il benchmark copre sette tipi di spettro rappresentativi e include 620 figure con 3.100 coppie domanda-risposta annotate da esperti, tratte da letteratura peer-reviewed. SpecVQA si concentra sia sull'estrazione diretta di informazioni che sul ragionamento specifico del dominio. Per affrontare i problemi di lunghezza dei token, il team propone un approccio di campionamento e ricostruzione per interpolazione dei dati spettrali che preserva le caratteristiche essenziali delle curve. Studi di ablazione confermano l'efficacia di questo metodo. Il lavoro è dettagliato in un articolo su arXiv (ID: 2604.28039).