TimeSage-EV: Benchmark Live per l'Analisi Agentica di Serie Temporali in Ambienti in Evoluzione
Un team di ricercatori ha introdotto TimeSage-EV, un benchmark innovativo progettato per valutare l'analisi di serie temporali in contesti dinamici. Questo nuovo framework affronta una limitazione significativa nei metodi di valutazione attuali, che spesso dipendono da istantanee di dati statici e trascurano l'accuratezza temporale. TimeSage-EV comprende 60 scenari del mondo reale in sei settori, con 1.485 coppie domanda-risposta raccolte da febbraio 2023 a maggio 2026, con intervalli di rilascio variabili. Durante le valutazioni, gli agenti basati su modelli di linguaggio di grandi dimensioni interpretano dati di serie temporali e report, mentre i target trattenuti rappresentano i risultati reali. Il benchmark dà priorità all'identificazione dello stato e al ragionamento, come descritto nella recente pubblicazione su arXiv.
Fatti principali
- TimeSage-EV è un benchmark live per l'analisi agentica di serie temporali in ambienti in evoluzione.
- Monitora 60 scenari istituzionali reali in 6 domini.
- Comprende 1.485 coppie QA scenario-periodo da febbraio 2023 a maggio 2026.
- Le cadenze di rilascio includono mensile, settimanale, giornaliera e irregolare.
- In ogni periodo, gli agenti LLM ricevono dati di serie temporali e report di origine; il rilascio del target trattenuto fornisce la verità di base.
- Valuta l'identificazione dello stato, la sintesi dei dati e il ragionamento prospettico.
- Gli esperimenti includono agenti LLM all'avanguardia e TimeSage-1.0, un agente auto-evolvente.
- L'articolo è disponibile su arXiv:2608.14270.
Entità
Istituzioni
- arXiv