Classifica delle Tracce Basata su LLM per la Verifica di Affermazioni Numeriche a CheckThat! 2026
Per il Task 2 di CheckThat! 2026 di CLEF, è stato creato un sistema per automatizzare la verifica di affermazioni numeriche, concentrandosi sulla classificazione delle tracce di ragionamento derivate da modelli linguistici di grandi dimensioni (LLM) e sulla previsione delle decisioni finali per asserzioni numeriche sia in inglese che in arabo. Il primo metodo prevede il fine-tuning di un verificatore basato su LLM tramite LoRA per la classificazione binaria di ciascuna traccia, utilizzando la selezione Best-of-N per il verdetto conclusivo e testando la scomposizione adattiva delle sotto-affermazioni. Il secondo metodo utilizza un modello di ricompensa TF-IDF semplificato che incorpora caratteristiche personalizzate di sovrapposizione numerica e temporale per valutare le tracce, con punteggi aggregati per categoria di verdetto. I confronti per la verifica in arabo sono condotti utilizzando tecniche generative.
Fatti principali
- Sistema sviluppato per il Task 2 di CheckThat! 2026 di CLEF
- Si concentra sulla verifica di affermazioni numeriche in inglese e arabo
- Primo approccio: fine-tuning del verificatore LLM con LoRA e selezione Best-of-N
- Sperimenta la scomposizione adattiva delle sotto-affermazioni
- Secondo approccio: modello di ricompensa TF-IDF con caratteristiche di sovrapposizione numerica e temporale
- Aggrega i punteggi per gruppo di verdetto per la previsione finale
- La verifica in arabo utilizza il confronto generativo
- Descritto nell'articolo arXiv 2607.25069
Entità
Istituzioni
- CLEF
- CheckThat!