Valutazione basata sulla rilevanza per il ragionamento su grafi di conoscenza temporali

Un nuovo framework di valutazione per il ragionamento su grafi di conoscenza temporali (TKGR) affronta il problema delle metriche attuali che gonfiano le capacità di ragionamento attribuendo uguale importanza a tutti gli eventi, incluse le ripetizioni insignificanti. L'innovativa valutazione basata sulla rilevanza introduce un framework di misurazione della rilevanza basato su regole (RSMF), che valuta la rilevanza degli eventi confrontando le occorrenze attese con eventi simili derivati da regole temporali. Questa rilevanza viene incorporata come fattore di ponderazione in metriche come MRR ponderato e Hits@k. Esperimenti condotti su quattro benchmark TKG rivelano che tutti i modelli rappresentativi mostrano prestazioni ridotte all'aumentare della rilevanza degli eventi, con gli approcci basati su percorsi che ottengono i migliori risultati su eventi a bassa rilevanza, mentre i metodi basati su rappresentazioni eccellono su quelli ad alta rilevanza.