RAGe Framework: Benchmark per Sistemi Retrieval-Augmented Generation

È stato proposto un nuovo framework modulare chiamato RAGe (Retrieval-Augmented Generation Evaluation) per valutare e guidare lo sviluppo efficiente di applicazioni RAG. Il framework affronta sfide come gli elevati requisiti computazionali, basi di conoscenza obsolete e la selezione manuale dei componenti della pipeline. RAGe si concentra sulla telemetria delle risorse e sulla raccomandazione di componenti, suggerendo quelli ottimali per dataset specifici di dominio. Sfrutta tecniche fondamentali di LLM come il chunking dei documenti, database vettoriali, modelli di embedding e retriever per valutare i compromessi tra accuratezza, efficienza e scalabilità. Correlando la qualità del recupero e della generazione con i vincoli hardware, RAGe aiuta i ricercatori a identificare configurazioni RAG efficaci e specifiche per dominio. Il framework è descritto nell'articolo arXiv 2605.27445.