MBA-Bench: Primo Benchmark Multimodale per Agenti di Ideazione Imprenditoriale

Un nuovo benchmark chiamato MBA-Bench è stato lanciato da ricercatori, segnando il primo strumento multimodale volto a formare e valutare agenti di ideazione imprenditoriale che utilizzano modelli linguistici di grandi dimensioni (LLM). A differenza degli attuali metodi basati solo su testo, questo benchmark integra elementi visivi cruciali per scenari aziendali pratici. MBA-Bench presenta 30.000 campioni in sei diversi domini, ciascuno con dati visivi unici che il testo da solo non può esprimere completamente. La creazione di questo benchmark ha comportato la generazione automatica di didascalie per le immagini e l'uso di GPT-4o per produrre cinque idee di riferimento per tre domande aziendali, aiutata dalla generazione di query di recupero e dalla sintesi di prove di mercato. Gli agenti vengono valutati in base a sei criteri legati al business utilizzando MLLM-as-a-Judge, con due configurazioni: MBA-b (cieco) e MBA-k (noto), a seconda della visibilità dei criteri. Questo benchmark cerca di migliorare i sistemi agenziali nell'ideazione imprenditoriale attraverso un quadro di valutazione standardizzato.