Sistema di QA Finanziario Multilingue di DS@GT a FinMMEval 2026
Il team DS@GT del Georgia Tech ha sviluppato una pipeline retrieval-augmented per FinMMEval 2026 Task 1, un benchmark multilingue per rispondere a domande di esami finanziari in inglese, spagnolo, greco, cinese e hindi. Il loro sistema utilizza LangGraph per identificare la lingua delle query e recupera esempi da una knowledge base multilingue di 30.209 voci, impiegando embedding BGE-M3 e indicizzazione FAISS. Le risposte vengono valutate tramite Retrieval-Augmented Direct Scoring (RADS), concentrandosi sulle log-probabilità del token successivo delle lettere candidate invece di generare testo. Per le lingue con risorse limitate, il sistema integra indici di recupero per lingua e cross-linguali attraverso la Weighted Reciprocal Rank Fusion. Esami di certificazione finanziaria come CFA, EFPA e CPA richiedono un ragionamento strutturato che i benchmark NLP standard non affrontano, specialmente in lingue con sistemi di recupero meno sviluppati.
Fatti principali
- DS@GT ha presentato una submission per FinMMEval 2026 Task 1
- Il benchmark copre inglese, spagnolo, greco, cinese e hindi
- Pipeline basata su LangGraph
- Knowledge base con 30.209 voci
- Utilizza embedding BGE-M3 e indicizzazione FAISS
- Valutazione tramite Retrieval-Augmented Direct Scoring (RADS)
- RADS legge le log-probabilità del token successivo sulle lettere delle opzioni candidate
- Le lingue con poche risorse utilizzano la Weighted Reciprocal Rank Fusion
Entità
Istituzioni
- Georgia Tech
- DS@GT
- FinMMEval
- CFA
- EFPA
- CPA