SymbolicLight V1: Modello Linguistico Spike-Gated Raggiunge Alta Sparsità

SymbolicLight V1 è stato presentato dai ricercatori, caratterizzato da un modello linguistico a doppio percorso spike-gated che integra dinamiche binarie di spike Leaky Integrate-and-Fire insieme a un flusso residuo continuo. Il modulo innovativo Dual-Path SparseTCAM sostituisce la tradizionale attenzione densa con un'aggregazione a decadimento esponenziale per la memoria a lungo raggio e un meccanismo di attenzione locale spike-gated per la precisione a corto raggio. Una versione con 194 milioni di parametri, addestrata da zero su un dataset cinese-inglese di 3 miliardi di token, ha raggiunto una perplexity di validazione compresa tra 8.88 e 8.93 in quattro prove separate, mostrando oltre l'89% di sparsità di attivazione. Sebbene sia inferiore del 7.7% in perplexity rispetto a GPT-2 201M, supera GPT-2 124M. L'architettura presenta una testa di decodifica condizionata dal contesto e un tokenizer bilingue. Questa ricerca è stata pubblicata su arXiv.