ARTFEED — Contemporary Art Intelligence

Sistema di QA Finanziario Multilingue di DS@GT a FinMMEval 2026

ai-technology · 2026-07-29

Il team DS@GT del Georgia Tech ha sviluppato una pipeline retrieval-augmented per FinMMEval 2026 Task 1, un benchmark multilingue per rispondere a domande di esami finanziari in inglese, spagnolo, greco, cinese e hindi. Il loro sistema utilizza LangGraph per identificare la lingua delle query e recupera esempi da una knowledge base multilingue di 30.209 voci, impiegando embedding BGE-M3 e indicizzazione FAISS. Le risposte vengono valutate tramite Retrieval-Augmented Direct Scoring (RADS), concentrandosi sulle log-probabilità del token successivo delle lettere candidate invece di generare testo. Per le lingue con risorse limitate, il sistema integra indici di recupero per lingua e cross-linguali attraverso la Weighted Reciprocal Rank Fusion. Esami di certificazione finanziaria come CFA, EFPA e CPA richiedono un ragionamento strutturato che i benchmark NLP standard non affrontano, specialmente in lingue con sistemi di recupero meno sviluppati.

Fatti principali

  • DS@GT ha presentato una submission per FinMMEval 2026 Task 1
  • Il benchmark copre inglese, spagnolo, greco, cinese e hindi
  • Pipeline basata su LangGraph
  • Knowledge base con 30.209 voci
  • Utilizza embedding BGE-M3 e indicizzazione FAISS
  • Valutazione tramite Retrieval-Augmented Direct Scoring (RADS)
  • RADS legge le log-probabilità del token successivo sulle lettere delle opzioni candidate
  • Le lingue con poche risorse utilizzano la Weighted Reciprocal Rank Fusion

Entità

Istituzioni

  • Georgia Tech
  • DS@GT
  • FinMMEval
  • CFA
  • EFPA
  • CPA

Fonti