IndiaFinBench: Primo Benchmark LLM per Testi Normativi Finanziari Indiani

I ricercatori hanno introdotto IndiaFinBench, il primo benchmark aperto progettato per valutare le prestazioni dei modelli linguistici di grandi dimensioni (LLM) sui documenti normativi finanziari indiani. Questo nuovo benchmark colma una lacuna significativa, poiché la maggior parte delle valutazioni NLP finanziarie esistenti si basa su fonti occidentali come i documenti SEC e i rapporti sugli utili statunitensi. IndiaFinBench include 406 coppie domanda-risposta, meticolosamente annotate, provenienti da 192 documenti della Reserve Bank of India (RBI) e del Securities and Exchange Board of India (SEBI). Presenta quattro categorie di compiti: interpretazione normativa (174), ragionamento numerico (92), rilevamento di contraddizioni (62) e ragionamento temporale (78). La qualità dell'annotazione è validata con un controllo secondario basato su modello, mostrando un kappa di 0,918 per il rilevamento di contraddizioni e un tasso di accordo umano su 60 elementi.