Nuovo Benchmark Valuta Agenti LLM su Compiti di Fogli di Calcolo Finanziari
I ricercatori hanno introdotto WorkstreamBench, un benchmark progettato per valutare gli agenti LLM su compiti completi di fogli di calcolo in ambito finanziario. Il benchmark colma una lacuna nelle valutazioni esistenti, che si concentrano su domande e risposte o modifiche di singole formule, valutando la capacità degli agenti di costruire fogli di calcolo completi a partire da istruzioni di alto livello. WorkstreamBench si rivolge a flussi di lavoro economicamente critici come la modellazione finanziaria, le previsioni e l'analisi di scenari. I criteri di valutazione includono qualità di alto livello come la leggibilità e la facilità di modifica, rispecchiando i processi di revisione del mondo reale. Il lavoro è descritto nell'articolo arXiv 2605.22664.
Fatti principali
- WorkstreamBench valuta gli agenti LLM su compiti completi di fogli di calcolo.
- Il benchmark si concentra su flussi di lavoro finanziari come la modellazione e l'analisi di scenari.
- I benchmark esistenti coprono solo domande e risposte o modifiche di singole formule.
- I criteri di valutazione includono leggibilità e facilità di modifica.
- La ricerca è presentata nell'articolo arXiv 2605.22664.
- Gli agenti LLM devono produrre artefatti completi a partire dalle istruzioni dell'utente.
- I laboratori di IA all'avanguardia hanno sviluppato agenti in grado di costruire interi fogli di calcolo.
- La finanza è un dominio chiave per i flussi di lavoro basati su fogli di calcolo.
Entità
Istituzioni
- arXiv