SKG-Eval: Valutazione Stateful del Dialogo Multi-Turno tramite Grafi di Conoscenza Semantici Incrementali
L'articolo identificato come arXiv:2605.16650 presenta SKG-Eval, un framework quasi-deterministico e interpretabile per valutare sistemi di dialogo multi-turno. A differenza dei valutatori automatici attuali, come LLM-as-a-judge e metriche basate su embedding che utilizzano rappresentazioni piatte o isolate dei turni, SKG-Eval concettualizza il dialogo come un Grafo di Conoscenza Semantico (SKG) dinamico che comprende entità, relazioni e impegni attraverso più turni. Aggiorna il grafo in modo incrementale tramite estrazione strutturata di triple e genera tre segnali complementari: rilevanza locale, coerenza storica e coerenza delle entità. Questo metodo innovativo mira a identificare problemi a lungo termine come contraddizioni, deriva tematica e incoerenza delle entità, spesso trascurati dagli approcci esistenti. Questo annuncio è categorizzato come cross-type su arXiv ed è pubblicato con l'identificatore 2605.16650v1.
Fatti principali
- SKG-Eval è un framework per valutare sistemi di dialogo multi-turno.
- Utilizza un Grafo di Conoscenza Semantico (SKG) in evoluzione di entità, relazioni e impegni.
- Il framework calcola tre segnali: rilevanza locale, coerenza storica e coerenza delle entità.
- I valutatori esistenti come LLM-as-a-judge e le metriche basate su embedding sono meno efficaci nel rilevare problemi a lungo raggio.
- SKG-Eval è quasi-deterministico e interpretabile.
- L'articolo è pubblicato su arXiv con identificatore 2605.16650v1.
- Il tipo di annuncio è cross.
- Il framework affronta contraddizioni, deriva tematica e incoerenza delle entità.
Entità
Istituzioni
- arXiv