Memory Inception: Guidare i LLM tramite Manipolazione della Cache KV Latente
L'articolo arXiv:2605.06225v1 presenta un approccio innovativo chiamato memory inception (MI), che consente la manipolazione di modelli linguistici di grandi dimensioni (LLM) senza necessità di addestramento. Questa tecnica prevede l'inserimento strategico di banche chiave-valore (KV) basate su testo a livelli specifici nello spazio di attenzione latente. A differenza del prompting tradizionale, che può sovraccaricare le interazioni memorizzando token di guida a ogni livello, o del steering dell'attivazione, più efficiente ma generalmente meno efficace, MI si concentra sulla distribuzione selettiva delle KV. Applicato a compiti di steering della personalità, MI dimostra un equilibrio superiore tra controllo e deriva, competendo efficacemente con il prompting e superando costantemente CAA. Inoltre, MI facilita cambiamenti di comportamento a metà conversazione senza alterare il trascritto visibile e non richiede addestramento esteso o promemoria strutturati.
Fatti principali
- Memory inception (MI) è un metodo senza addestramento per guidare gli LLM.
- MI inserisce banche KV derivate dal testo solo a livelli selezionati dello spazio di attenzione latente.
- MI evita di memorizzare token di guida a ogni livello come fa il prompting.
- MI supera lo steering dell'attivazione e CAA nei compiti di steering della personalità.
- MI supporta cambiamenti di comportamento a metà conversazione senza riscrivere il trascritto.
- Il metodo non richiede addestramento aggiuntivo o grandi promemoria strutturati.
- MI raggiunge il miglior compromesso complessivo tra controllo e deriva rispetto a prompting e CAA.
- L'articolo è disponibile su arXiv con ID 2605.06225.
Entità
Istituzioni
- arXiv