I Transformers Spike Ottengono Supporto Plug-and-Play per la Non Linearità

Un recente articolo su arXiv (2605.20289) introduce un nuovo framework con operatori spike plug-and-play progettati per superare la sfida della non linearità nei Transformers spike. Mentre la conversione di reti neurali artificiali (ANN) in reti neurali spike (SNN) consente la creazione di grandi modelli linguistici spike senza addestramento, le metodologie attuali non supportano operazioni non lineari essenziali come divisione, esponenziazione e norme ℓ2, che le dinamiche standard di leaky integrate-and-fire non gestiscono intrinsecamente. Questa nuova tecnica scompone questi calcoli in tre componenti fondamentali e li implementa tramite computazione di popolazione, utilizzando gruppi di neuroni LIF insieme a uno scaling efficiente con bit-shift. Questo metodo si integra perfettamente con i framework esistenti di conversione ANN-SNN, fornendo approssimazioni compatibili con spike per le non linearità presenti nei Transformers.