Capsule di Conoscenza: Unità di Memoria Strutturate per LLM

I ricercatori hanno introdotto le Capsule di Conoscenza, unità di memoria non parametriche progettate per incapsulare conoscenza relazionale normalizzata derivata da collezioni di documenti utilizzando un modello base statico. Invece di incorporare la conoscenza come testo, presentano un framework di Iniezione Esterna di Chiave-Valore (KVI) che trasforma le capsule in rappresentazioni chiave-valore compatibili con i meccanismi di attenzione. Questa innovazione consente di integrare la conoscenza esterna direttamente nei calcoli di attenzione del modello. Risolve efficacemente le sfide affrontate dalla generazione aumentata da recupero (RAG), dove la conoscenza esterna compete come token, producendo effetti indiretti e spesso inaffidabili, specialmente in scenari che coinvolgono contesti lunghi e ragionamenti multi-hop. Questa tecnica consente di aggiornare o espandere la conoscenza degli LLM senza necessitare di riaddestramento, eliminando così i costi associati alla modifica dei pesi parametrici.