ARTFEED — Contemporary Art Intelligence

Classifica delle Tracce Basata su LLM per la Verifica di Affermazioni Numeriche a CheckThat! 2026

ai-technology · 2026-07-29

Per il Task 2 di CheckThat! 2026 di CLEF, è stato creato un sistema per automatizzare la verifica di affermazioni numeriche, concentrandosi sulla classificazione delle tracce di ragionamento derivate da modelli linguistici di grandi dimensioni (LLM) e sulla previsione delle decisioni finali per asserzioni numeriche sia in inglese che in arabo. Il primo metodo prevede il fine-tuning di un verificatore basato su LLM tramite LoRA per la classificazione binaria di ciascuna traccia, utilizzando la selezione Best-of-N per il verdetto conclusivo e testando la scomposizione adattiva delle sotto-affermazioni. Il secondo metodo utilizza un modello di ricompensa TF-IDF semplificato che incorpora caratteristiche personalizzate di sovrapposizione numerica e temporale per valutare le tracce, con punteggi aggregati per categoria di verdetto. I confronti per la verifica in arabo sono condotti utilizzando tecniche generative.

Fatti principali

  • Sistema sviluppato per il Task 2 di CheckThat! 2026 di CLEF
  • Si concentra sulla verifica di affermazioni numeriche in inglese e arabo
  • Primo approccio: fine-tuning del verificatore LLM con LoRA e selezione Best-of-N
  • Sperimenta la scomposizione adattiva delle sotto-affermazioni
  • Secondo approccio: modello di ricompensa TF-IDF con caratteristiche di sovrapposizione numerica e temporale
  • Aggrega i punteggi per gruppo di verdetto per la previsione finale
  • La verifica in arabo utilizza il confronto generativo
  • Descritto nell'articolo arXiv 2607.25069

Entità

Istituzioni

  • CLEF
  • CheckThat!

Fonti