LLM multimodali come CEO: gli input visivi migliorano il ragionamento ma ostacolano l'allocazione delle risorse
Il nuovo benchmark introdotto, C-SUITE-BENCH, valuta nove modelli linguistici di grandi dimensioni all'avanguardia che agiscono come CEO in una serie di scenari controllati di decisione aziendale. Comprende cinque compiti decisionali in ambienti sia testuali che multimodali accoppiati, su 50 scenari diversi. I risultati indicano che gli input multimodali migliorano il ragionamento basato su prove, eccellendo particolarmente nella previsione dei rischi e nella giustificazione al consiglio di amministrazione. Tuttavia, emerge un paradosso con l'integrazione multimodale: l'inclusione di dati aziendali visivi influisce negativamente sull'allocazione delle risorse per tutti e nove i modelli, nonostante i miglioramenti nel grounding visivo. Questa ricerca, pubblicata su arXiv (2608.05864), sottolinea i punti di forza e di debolezza degli LLM multimodali in ruoli di leadership, rivelando che mentre le informazioni visive possono potenziare alcune capacità di ragionamento, possono ostacolare compiti che richiedono una distribuzione accurata delle risorse.
Fatti principali
- C-SUITE-BENCH è un benchmark multimodale controllato introdotto nello studio.
- Il benchmark include cinque compiti decisionali in condizioni sia testuali che multimodali accoppiate.
- Vengono utilizzati cinquanta scenari nei vari compiti.
- Nove modelli all'avanguardia vengono valutati nel ruolo di amministratore delegato.
- Gli input multimodali migliorano costantemente il ragionamento basato su prove.
- I miglioramenti più ampi e affidabili emergono nella previsione dei rischi e nella giustificazione al consiglio di amministrazione.
- L'aggiunta di informazioni aziendali visive degrada l'allocazione vincolata delle risorse per tutti e nove i modelli.
- Lo studio è disponibile su arXiv con identificativo 2608.05864.
Entità
Istituzioni
- arXiv