V-FiLLM: Nuovo Benchmark per il Ragionamento Finanziario nei LLM

Un nuovo framework chiamato V-FiLLM è stato sviluppato dai ricercatori per creare benchmark per il ragionamento finanziario utilizzando alberi di calcolo eseguibili basati su tabelle reali. Questo sistema garantisce l'accuratezza delle risposte valutando simbolicamente gli alberi per derivare la verità di base, convertendoli successivamente in domande in linguaggio naturale, eliminando così qualsiasi modello dal processo di etichettatura. Di conseguenza, consente la generazione di elementi su scala arbitraria senza incorrere in costi di annotazione o adottare il tasso di errore di un generatore. V-FiLLM presenta quattro assi di difficoltà distinti: profondità di calcolo, ampiezza espressiva, complessità dei concetti finanziari e dimensione del contesto. Le valutazioni dei modelli open-source indicano che l'accuratezza può diminuire fino al 51% con l'aumentare della profondità di ragionamento e fino a 47 punti percentuali in scenari numerici avversari. Questo benchmark colma una lacuna nel ragionamento finanziario su dati strutturati, integrando i benchmark esistenti focalizzati su STEM. L'articolo è disponibile su arXiv con l'identificatore 2608.11047.