Benchmark TIDE: QA Temporale su Documenti in Evoluzione

Un nuovo benchmark chiamato TIDE è stato sviluppato da ricercatori per valutare la capacità dei modelli linguistici di grandi dimensioni nella gestione di documenti che evolvono nel tempo. Consiste in 3.050 coppie domanda-risposta provenienti da 644 strumenti doganali ufficiali rilasciati dal Governo del Bangladesh dal 1969 al 2025. Questi documenti presentano una complessa mescolanza di codici, layout variabili e date in doppio calendario, ponendo sfide significative per i sistemi di intelligenza artificiale. L'attenzione principale è sulla risoluzione delle versioni, che comporta la determinazione della versione applicabile di un documento in una data specifica. A differenza dei dati enciclopedici, i testi legali specificano cosa sostituiscono e le loro date di entrata in vigore, consentendo alle versioni precedenti di rimanere valide. Gli attuali dataset di QA temporale non affrontano adeguatamente la risoluzione delle versioni. TIDE include otto tipi di attività e mira a colmare questa lacuna. Verificato da esperti, sottolinea l'importanza dell'accuratezza temporale negli strumenti doganali. Questa ricerca evidenzia le carenze dei modelli linguistici esistenti nell'elaborare dati sensibili al tempo e funge da risorsa preziosa per studi futuri. L'articolo è disponibile su arXiv con l'identificatore 2608.08512.