KG-R1: L'apprendimento per rinforzo ottimizza il RAG su grafi di conoscenza per LLM

I ricercatori introducono KG-R1, un framework agentico che utilizza l'apprendimento per rinforzo per ottimizzare la generazione aumentata da recupero su grafi di conoscenza (KG-RAG) per modelli linguistici di grandi dimensioni. A differenza dei sistemi KG-RAG tradizionali che si basano su pipeline fisse di più moduli LLM (pianificazione, ragionamento, risposta), KG-R1 impiega un singolo agente che interagisce con i grafi di conoscenza come proprio ambiente, imparando a recuperare informazioni passo dopo passo e integrandole nel ragionamento e nella generazione. Questo processo unificato riduce i costi di inferenza e migliora la trasferibilità tra diversi schemi di grafo. Valutato su benchmark di Question Answering su grafi di conoscenza (KGQA), KG-R1 che utilizza Qwen 2.5-3B raggiunge una maggiore accuratezza delle risposte con meno token di generazione rispetto ai metodi esistenti. Il lavoro affronta limiti chiave degli attuali sistemi KG-RAG, inclusi gli alti costi di inferenza e le prestazioni specifiche dello schema. L'articolo è disponibile su arXiv con riferimento 2509.26383.