MMCL-Bench: Nuovo benchmark testa l'apprendimento contestuale multimodale nell'IA

I ricercatori hanno introdotto un nuovo benchmark chiamato MMCL-Bench per valutare quanto bene i sistemi di IA possano apprendere in contesti multimodali. Questo benchmark si differenzia dall'apprendimento standard basato su testo e dal tipico question answering multimodale, richiedendo ai modelli di comprendere regole e procedure specifiche da scenari di insegnamento visivi o misti, per poi applicare quella conoscenza a nuovi esempi visivi. Consiste in 102 compiti, suddivisi in tre aree: applicazione di sistemi di regole, esecuzione di compiti procedurali e scoperta empirica. Le valutazioni dei migliori modelli multimodali, condotte con criteri rigorosi, rivelano carenze significative; il modello leader ha risolto meno di un terzo delle sfide. L'analisi evidenzia fallimenti in diverse fasi, dalla localizzazione delle prove al ragionamento, sottolineando la necessità di ulteriori ricerche in questo ambito.