La Memoria Associativa a Gating Contestuale Collega le Reti di Hopfield e i Transformer

Un framework di memoria associativa a due stadi è stato proposto dai ricercatori, caratterizzato da un sottocircuito di gating contestuale che modifica il paesaggio energetico di recupero. Si teorizza che questo gating contestuale migliori la separazione tra i ricordi e promuova la scarsità, portando a miglioramenti esponenziali nel recupero. L'architettura include un punto fisso autoconsistente distintivo influenzato da un bias contestuale diretto, insieme a un ciclo di feedback per un gate di recupero di secondo ordine. Un'approssimazione del primo ordine testata su Llama-3 supporta le affermazioni teoriche. Questa ricerca crea collegamenti significativi tra memorie associative biologiche, fisica statistica e transformer.