ReactBench Benchmark Rivela le Limitazioni dei MLLM nel Ragionamento Topologico sui Diagrammi Chimici

Un nuovo benchmark chiamato ReactBench rivela significative carenze nella capacità dei Modelli Linguistici Multimodali di Grande Scala di ragionare su strutture topologiche complesse. Questi modelli di intelligenza artificiale faticano con diagrammi che presentano percorsi ramificati, flussi convergenti e dipendenze cicliche, fallendo persino in compiti basilari come il conteggio degli endpoint. I diagrammi di reazione chimica fungono da terreno di prova poiché comprendono naturalmente strutture diverse, dalle catene lineari ai grafi ciclici. Il benchmark comprende 1.618 coppie domanda-risposta annotate da esperti, organizzate in quattro dimensioni di compiti gerarchici. I metodi di valutazione esistenti si sono concentrati principalmente sulla comprensione semantica piuttosto che sulle capacità di ragionamento strutturale. Una valutazione estensiva su 17 MLLM dimostra queste limitazioni fondamentali nel ragionamento visivo. La ricerca è stata annunciata su arXiv con l'identificatore 2604.15994v1.