MetaKGEnrich: Riparazione Automatica di Grafi di Conoscenza per LLM
MetaKGEnrich è un sistema automatizzato volto a migliorare l'IA metacognitiva, consentendo ai grandi modelli linguistici (LLM) di identificare e colmare autonomamente le carenze conoscitive. Il processo inizia con una query seed per costruire grafi di conoscenza, seguita dal rilevamento di aree sparse utilizzando sette metriche di grafo. Formula domande specifiche tramite GPT-4o, raccoglie prove online via Tavily, incorpora questi dati in Neo4j, e poi rivaluta la query con GraphRAP per la valutazione di GPT-4. In prove con 30 query provenienti da tre dataset—Google Research Natural Questions, MS MARCO e HotpotQA—MetaKGEnrich ha migliorato la qualità delle risposte nell'80% di HotpotQA, nell'87% di Google Research Natural Questions e nell'83% di MS MARCO, mantenendo aree ben supportate. Questa prova di concetto illustra come l'autodiagnosi topologica possa facilitare il miglioramento autonomo della conoscenza nei sistemi di IA.
Fatti principali
- MetaKGEnrich è una pipeline completamente automatizzata per la popolazione di grafi di conoscenza e l'arricchimento degli LLM.
- Il sistema utilizza sette metriche di grafo per rilevare regioni sparse nei grafi di conoscenza.
- GPT-4o genera domande mirate per colmare le lacune conoscitive.
- Le prove web vengono recuperate tramite Tavily e archiviate in Neo4j.
- GraphRAG ri-risponde alle query per consentire a GPT-4 di valutare il miglioramento.
- Testato su 30 query da Google Research Natural Questions, MS MARCO e HotpotQA.
- La qualità delle risposte è migliorata nell'80% delle domande di HotpotQA.
- La qualità delle risposte è migliorata nell'87% di Google Research Natural Questions e nell'83% di MS MARCO.
Entità
Istituzioni
- Google Research
- MS MARCO
- HotpotQA
- Neo4j
- Tavily
- GPT-4o
- GPT-4
- GraphRAG