FinReportBench: Benchmarking LLMs per Report Finanziari di Livello Istituzionale

È stato lanciato un nuovo benchmark denominato FinReportBench per valutare e migliorare la produzione di report finanziari di livello istituzionale da parte dei modelli linguistici di grandi dimensioni (LLM). I ricercatori, notando carenze persistenti nell'identità del report, negli elementi istituzionali, nella disciplina delle fonti e nella presentazione visiva attraverso valutazioni di esperti, hanno creato questo benchmark. Hanno formulato una rubrica di 35 elementi utilizzando ordini parziali di esperti, prove multimodali e audit dei confini decisionali, concentrandosi su consegnabilità, identità del report e completezza istituzionale. Il benchmark comprende 10.000 record di ricerca finanziaria bilanciati in cinese e inglese, portando a 244 attività bilingue su tre soggetti di ricerca e due livelli di input. Ogni attività distingue la query pubblica, il percorso di ricerca ricostruito e il pacchetto di fonti nascosto. Tre gruppi di giudizio indipendenti replicano l'ordine parziale degli esperti a tassi quasi massimi, confermando l'affidabilità del benchmark. Questa ricerca, cruciale per il settore finanziario, è documentata in un articolo su arXiv (arXiv:2608.04374), presentato per un annuncio incrociato.