Nuovo Benchmark AI RT-QA Utilizza Codice Eseguibile per Risposte in Tempo Reale

I ricercatori hanno presentato RT-QA, un innovativo framework di valutazione progettato per misurare le capacità di risposta in tempo reale dei modelli di intelligenza artificiale, superando efficacemente le carenze dei tradizionali benchmark statici. Questo framework utilizza flussi di lavoro di codice eseguibile per raccogliere informazioni aggiornate tramite web crawling ed estrazione di risposte basata su DOM. Include un sistema di autoriparazione che si adatta alle modifiche nei layout delle pagine web, garantendo affidabilità a lungo termine. RT-QA copre 12 domini, come Finanza e Sport, comprendendo 320 domande in cinese suddivise in tre livelli di difficoltà. Il framework conduce valutazioni approfondite dei modelli all'avanguardia, generando autonomamente ground truth in tempo reale. Questo approccio mira a riflettere le dinamiche temporali e la natura in continua evoluzione della conoscenza del mondo reale, essenziale per agenti pratici integrati nella ricerca. I risultati dettagliati sono disponibili in una prestampa su arXiv (arXiv:2604.16349v1), annunciata come abstract di tipo incrociato.