MMArch: Nuovo Benchmark Testa il Ragionamento Multimodale dell'IA in Architettura

Un nuovo benchmark chiamato MMArch è stato sviluppato da ricercatori per valutare le capacità di ragionamento dei modelli linguistici multimodali di grandi dimensioni (MLLM) in contesti architettonici e di ingegneria civile. Questo benchmark, descritto in un articolo su arXiv (2608.09281), copre dieci sottodomini ed è interamente derivato da figure presenti in letteratura peer-reviewed. Include 1.212 domande a risposta breve create attraverso un approccio disaccoppiato pianificatore-scrittore, che hanno subito uno screening automatizzato, un audit avversario alla cieca e una valutazione di esperti. Le domande sfidano i modelli a riconoscere dati visivi pertinenti, discernere principi ingegneristici applicabili e implementarli, evitando scorciatoie da indizi testuali o da singole figure. Nei test che hanno coinvolto 18 MLLM open-weight e proprietari valutati da un panel di esperti del settore, il modello open-source con le migliori prestazioni ha raggiunto solo circa il 30% di accuratezza, evidenziando una notevole disparità tra le capacità dell'IA e l'esperienza umana. Questo benchmark mira a far progredire i MLLM oltre il semplice riconoscimento di disegni o il recupero di informazioni, valutando la loro capacità di sintetizzare diverse informazioni visive con conoscenze ingegneristiche. Questa ricerca è significativa per i settori dell'architettura e del design poiché sottolinea le limitazioni esistenti ed esplora le future possibilità dell'IA nell'ingegneria e nel design.