Benchmark di Ragionamento Multi-Grafo per Modelli Visione-Linguaggio

È stato lanciato un nuovo standard per valutare il ragionamento multi-grafo nei Modelli Visione-Linguaggio (VLM). Questo benchmark comprende quattro tipi di grafi: grafi di conoscenza, diagrammi di flusso, mappe mentali e mappe di percorso. Presenta raggruppamenti sia omogenei che eterogenei, con compiti di complessità crescente. Diversi VLM leader sono stati testati attraverso un sistema di punteggio multidimensionale che valuta il parsing dei grafi, la coerenza nel ragionamento e l'accuratezza nel seguire le istruzioni. Inoltre, la ricerca include il fine-tuning di diversi modelli open-source per migliorare le loro prestazioni nel ragionamento congiunto multi-grafo, una sfida significativa che non è stata ancora approfondita negli studi sui VLM.