Un Framework di Soft Prompting Basato su Grafi Migliora il Ragionamento dei LLM su Grafi di Conoscenza Incompleti
Un nuovo framework che utilizza il soft prompting basato su grafi affronta le vulnerabilità dei Large Language Model (LLM) in situazioni ad alta intensità di conoscenza, passando dall'esplorazione di percorsi a livello di nodo alla valutazione a livello di sottografi. Questo metodo integra una Graph Neural Network (GNN) per trasformare sottografi strutturali in soft prompt, consentendo ai LLM di interagire con un contesto strutturale più ricco e individuare entità pertinenti oltre le loro connessioni grafiche immediate, riducendo così la loro sensibilità agli archi mancanti nei Knowledge Graph (KG). Affronta specificamente le carenze dei diffusi metodi di Knowledge Base Question Answering (KBQA) multi-hop, che dipendono dall'attraversamento diretto degli archi e sono suscettibili alle lacune dei KG. L'approccio a due fasi proposto mira a ridurre le esigenze computazionali preservando le prestazioni, utilizzando un LLM semplificato. Questo framework, delineato nella preprint arXiv 2604.12503v1, cerca di ridurre le allucinazioni nei LLM ancorando la generazione nei KG, migliorando l'affidabilità del recupero di conoscenza da fonti di dati incomplete.
Fatti principali
- I Large Language Model (LLM) sono inclini ad allucinazioni in scenari ad alta intensità di conoscenza
- Il Knowledge Base Question Answering (KBQA) ancorano la generazione nei Knowledge Graph (KG)
- La maggior parte dei metodi KBQA multi-hop si basa sull'attraversamento esplicito degli archi
- I metodi di attraversamento degli archi sono fragili rispetto all'incompletezza dei KG
- Un framework di soft prompting basato su grafi sposta il ragionamento dall'attraversamento di percorsi a livello di nodo al ragionamento a livello di sottografi
- La Graph Neural Network (GNN) codifica i sottografi strutturali estratti in soft prompt
- L'approccio consente ai LLM di ragionare su un contesto strutturale più ricco e identificare entità rilevanti oltre i vicini immediati
- Un paradigma a due fasi riduce il costo computazionale preservando buone prestazioni
Entità
—