GS-Quant: Quantizzazione Granulare Semantica e Strutturale Generativa per il Completamento di Grafi di Conoscenza
Il recentemente introdotto framework GS-Quant affronta la disparità tra gli embedding continui dei grafi e i token discreti dei LLM nel Completamento di Grafi di Conoscenza (KGC). A differenza delle tecniche di quantizzazione precedenti, che considerano la quantizzazione solo come una forma di compressione numerica, GS-Quant produce codici discreti per le entità del KG che sono sia semanticamente coerenti che strutturalmente stratificati. Presenta un modulo di Miglioramento Semantico Granulare che incorpora la conoscenza gerarchica nel codebook, consentendo ai codici iniziali di rappresentare ampie categorie semantiche mentre i codici successivi si concentrano su dettagli più fini. Questo metodo riflette le caratteristiche gerarchiche del ragionamento umano. Il documento di ricerca è disponibile su arXiv con l'identificatore 2604.21649.
Fatti principali
- GS-Quant è un framework per il Completamento di Grafi di Conoscenza.
- Colma il divario modale tra gli embedding dei grafi e i token dei LLM.
- I metodi di quantizzazione precedenti producono codici semanticamente intrecciati.
- GS-Quant genera codici semanticamente coerenti e strutturalmente stratificati.
- Il modulo di Miglioramento Semantico Granulare inietta conoscenza gerarchica.
- I codici iniziali catturano categorie globali; quelli successivi raffinano i dettagli.
- L'approccio rispecchia la logica dal generale al particolare del ragionamento umano.
- Il paper è su arXiv con ID 2604.21649.
Entità
Istituzioni
- arXiv