Q-CARE: Un Nuovo Quadro per la Valutazione RAG Indipendente dalla Query
È stato introdotto un nuovo quadro denominato Q-CARE per valutare i sistemi di generazione potenziata da recupero, come descritto in un recente articolo su arXiv. Questo quadro mira a fornire valutazioni coerenti per diverse richieste degli utenti, dalle semplici domande fattuali alle query complesse. Q-CARE scompone domande e risposte in componenti più piccoli e verificabili, impiegando metriche come metriche di recupero sensibili alla copertura e valutazioni a livello di affermazione come completezza e verificabilità. Nei test che coinvolgono un benchmark annotato da esseri umani su otto dataset, Q-CARE ha dimostrato una maggiore allineamento con le valutazioni umane rispetto a quattro metriche esistenti. Questo sviluppo segna un progresso significativo nella valutazione dell'accuratezza fattuale dei sistemi RAG.
Fatti principali
- Q-CARE è un quadro di valutazione RAG indipendente dalla query e completamente privo di riferimenti.
- Scompone le query in sotto-query e le risposte in affermazioni atomiche.
- Introduce metriche di recupero sensibili alla copertura: C-Prec@k e C-nDCG@k.
- Introduce metriche a livello di affermazione per il generatore: Completezza, Concisione e Verificabilità.
- Q-CARE è stato valutato su un benchmark annotato da esseri umani che copre otto dataset.
- Q-CARE ha ottenuto una correlazione più alta con i giudizi umani rispetto a RAGEval e RAGChecker.
- Il quadro mira a migliorare la valutazione della factualità dei modelli linguistici di grandi dimensioni nei sistemi RAG.
- L'articolo è disponibile su arXiv con ID 2608.11238.
Entità
Istituzioni
- arXiv