TKFQA: Nuovo Benchmark Testa la Fattualità e la Robustezza all'Ordine dei LLM in Conoscenza Eterogenea

È stato lanciato un nuovo benchmark chiamato TKFQA per valutare la coerenza fattuale e la robustezza dei grandi modelli linguistici (LLM) nel ragionamento multi-hop attraverso diverse fonti di conoscenza. Questo benchmark include 10.130 coppie di domanda-risposta (QA) derivate da tabelle, testi e grafi di conoscenza (KG). Ogni istanza si basa su una chiara catena di ragionamento controfattuale, consentendo una valutazione completa dell'accuratezza delle risposte, della correttezza delle catene di ragionamento e della sensibilità alle variazioni nell'ordine di input. Un'analisi approfondita di 14 LLM, sia open-source che closed-source, ha dimostrato che i modelli leader hanno difficoltà con l'accuratezza della catena di ragionamento e sono influenzati dall'ordine di input. Questa ricerca colma una lacuna nei benchmark attuali, che valutano in modo inadeguato le capacità dei LLM nel ragionamento multi-hop attraverso formati di conoscenza variati. I risultati sottolineano le difficoltà nel mantenere la fattualità e la coerenza quando la conoscenza è presentata in strutture diverse. L'articolo è disponibile su arXiv con identificativo 2608.07838.