KnowSim: un nuovo framework per valutare la calibrazione delle informazioni negli assistenti LLM
I ricercatori hanno introdotto KnowSim, un framework di valutazione progettato per misurare quanto bene gli assistenti basati su modelli linguistici di grandi dimensioni calibrano le informazioni in base alla conoscenza in evoluzione degli utenti. A differenza dei simulatori utente tradizionali, KnowSim mantiene uno stato di conoscenza esplicito modellato come un grafo di unità informative con relazioni di prerequisito, aggiornato secondo la teoria dell'apprendimento. Genera tre metriche: guadagno di conoscenza, calibrazione della consegna e sovraccarico cognitivo, derivate dalla traiettoria di questi stati. Il framework è stato validato utilizzando 705 sessioni di interazione uomo-AI. L'articolo è pubblicato su arXiv con identificativo 2608.17150.
Fatti principali
- KnowSim è un framework di valutazione per assistenti LLM.
- Si concentra sulla calibrazione delle informazioni rispetto alla conoscenza dell'utente.
- Il simulatore utente mantiene stati di conoscenza espliciti.
- Gli stati di conoscenza sono rappresentati come un grafo di Unità Informative con relazioni di prerequisito.
- Le regole di aggiornamento sono basate sulla teoria dell'apprendimento.
- Calcola tre metriche: Guadagno di Conoscenza, Calibrazione della Consegna e Sovraccarico Cognitivo.
- Validato su 705 sessioni di interazione uomo-AI.
- Articolo disponibile su arXiv:2608.17150.
Entità
Istituzioni
- arXiv