ClaimRAG-LAW: Un Benchmark Bilingue per Sistemi RAG Legali
I ricercatori hanno introdotto ClaimRAG-LAW, un dataset completo per valutare i sistemi di retrieval-augmented generation (RAG) nel dominio legale. Il benchmark supporta sia il francese che l'inglese, rivolgendosi sia a esperti legali che a non esperti. Affronta la mancanza di framework di valutazione granulari per il RAG legale, utilizzato per mitigare le allucinazioni nelle risposte dei modelli linguistici di grandi dimensioni (LLM). I benchmark esistenti sono per lo più solo in inglese e focalizzati su query di esperti. ClaimRAG-LAW include diversi tipi di domande per consentire un'analisi separata delle prestazioni di recupero e generazione. Il dataset è progettato per migliorare l'affidabilità del question answering legale basato su LLM.
Fatti principali
- ClaimRAG-LAW è un dataset per la valutazione del RAG legale.
- Supporta le lingue francese e inglese.
- Si rivolge sia a esperti legali che a non esperti.
- I benchmark RAG legali esistenti mancano di granularità.
- I sistemi RAG sono utilizzati per ridurre le allucinazioni negli LLM.
- Il dataset include diversi tipi di domande.
- Consente la valutazione separata di recupero e generazione.
- Il lavoro è pubblicato su arXiv.
Entità
Istituzioni
- arXiv