Il Framework ParallaxRAG Affronta le Sfide del Ragionamento Multi-Hop nei LLM Attraverso un Approccio a Grafo della Conoscenza Multi-Vista
Il documento "Think Parallax: Solving Multi-Hop Problems via Multi-View Knowledge-Graph-Based Retrieval-Augmented Generation" presenta ParallaxRAG, un framework simmetrico progettato per migliorare il ragionamento multi-hop nei grandi modelli linguistici utilizzando grafi della conoscenza. Rivela che le teste di attenzione dei Transformer si concentrano su specifiche relazioni semantiche, formando uno "schema di trasmissione allineato agli hop". I sistemi esistenti fondono gli hop di ragionamento in una rappresentazione singolare, il che risulta in un'esplorazione rumorosa. ParallaxRAG separa le query e i grafi della conoscenza in domini semantici specifici per testa e allineati, promuovendo la diversità relazionale e limitando i percorsi debolmente connessi per una costruzione precisa di sottografi. Questo metodo migliora la capacità dell'IA di affrontare sfide di ragionamento intricate. Lo studio è stato pubblicato su arXiv con l'identificatore arXiv:2510.15552v4 sotto "replace-cross", affrontando le carenze nelle tecniche di generazione aumentata dal recupero.
Fatti principali
- Il documento introduce ParallaxRAG, un framework simmetrico multi-vista per la generazione aumentata dal recupero basata su grafi della conoscenza
- La ricerca identifica che le teste di attenzione dei Transformer si specializzano naturalmente in distinte relazioni semantiche attraverso le fasi di ragionamento
- Questa specializzazione crea uno "schema di trasmissione allineato agli hop" nel ragionamento multi-hop
- I sistemi KG-RAG esistenti collassano gli hop di ragionamento in una singola rappresentazione nello spazio di embedding piatto
- Questo collasso sopprime la struttura implicita e causa un'esplorazione rumorosa o deviata dei percorsi
- ParallaxRAG disaccoppia le query e i grafi della conoscenza in spazi semantici specifici per testa e allineati
- Il framework impone la diversità relazionale attraverso multiple teste mentre vincola i percorsi debolmente correlati
- Documento pubblicato su arXiv con identificatore arXiv:2510.15552v4 sotto il tipo di annuncio "replace-cross"
Entità
Istituzioni
- arXiv