RagTester: Test automatizzati end-to-end per sistemi RAG

Un nuovo metodo di test automatizzato per i sistemi di Retrieval-Augmented Generation (RAG) è stato presentato in un articolo su arXiv, identificato come 2608.00054. Questa tecnica, chiamata RagTester, crea documenti di recupero, input di test e output attesi, successivamente esegue i test e valuta le risposte con un LLM che funge da valutatore. La sua strategia per generare i test si concentra su passaggi complessi, query non supportate e criteri di copertura dei documenti. Il processo di valutazione ha incluso otto LLM e sei modelli di embedding, risultando in 24 configurazioni valide, che sono state confrontate con un generatore di input di test di base. In oltre 72.000 esecuzioni di test, RagTester ha identificato 21.633 errori, il 6,6% in più rispetto alla baseline, e ha eccelso in 20 delle 24 configurazioni. Gli errori rilevati riguardano sia problemi di recupero che di generazione.