Nuovo Benchmark Valuta la Conoscenza Aperta dei LLM
Un recente articolo di ricerca presenta la valutazione della conoscenza aperta, un nuovo approccio per misurare la conoscenza dei grandi modelli linguistici (LLM). Questo metodo si allontana dalle domande predefinite, soggette a bias di disponibilità, optando invece per prompt aperti come 'Dimmi tutto ciò che sai su M.L. King', consentendo una valutazione più naturale della conoscenza. Gli autori dimostrano questo concetto attraverso BeQu (Beyond Questions), un benchmark composto da 10.000 entità collegate a corpora di riferimento per verificare le affermazioni. L'articolo è disponibile su arXiv con ID 2605.26937.
Fatti principali
- La valutazione della conoscenza aperta sposta l'attenzione dal recupero di risposte predefinite alla caratterizzazione della conoscenza espressa naturalmente.
- I benchmark esistenti si basano su domande predefinite, introducendo un bias di disponibilità.
- Il benchmark BeQu include 10.000 entità con corpora di riferimento per la verifica.
- L'articolo è pubblicato su arXiv con ID 2605.26937.
- Il metodo utilizza prompt di elicitazione aperti come 'Dimmi tutto ciò che sai su M.L. King'.
Entità
Istituzioni
- arXiv