Il Benchmark GAUGE Valuta i Modelli Finanziari AI Rispetto alla Pratica degli Analisti
Un nuovo benchmark chiamato GAUGE è stato sviluppato dai ricercatori per valutare i modelli di valutazione finanziaria creati da agenti, basandosi sulle pratiche reali degli analisti anziché sulla valutazione di un singolo esperto. L'indagine ha coperto 108 coppie dirette di 65 aziende, rivelando un punteggio mediano di 0,33 per le valutazioni a riferimento singolo, con il 92,6% dei punteggi inferiori a 0,70. Inoltre, nessuna coppia della stessa annata concordava sul prezzo implicito entro un margine del 10%. Ciò suggerisce che la valutazione a tolleranza puntuale riflette le discrepanze esistenti tra i professionisti. GAUGE incorpora 1.001 workbook di analisti classificati per fornitore e utilizza un quadro di valutazione di 196 attività con una struttura a tre livelli basata sulla pratica osservata. Questa ricerca è stata pubblicata su arXiv con ID 2607.24889v1.
Fatti principali
- GAUGE sta per Grading Agent-Built Financial Models Without a Golden Answer
- Lo studio ha utilizzato 108 coppie dirette che coprono 65 aziende
- Il punteggio mediano a riferimento singolo era 0,33
- Il 92,6% dei punteggi era inferiore a 0,70
- Nessuna coppia della stessa annata concordava sul prezzo implicito entro il 10%
- Il benchmark utilizza 1.001 workbook di analisti classificati per fornitore
- Il set di valutazione include 196 attività
- Pubblicato su arXiv con ID 2607.24889v1
Entità
Istituzioni
- arXiv