L'Autoattenzione Locale Strutturata Supera i Colli di Bottiglia nei Transformer SNN
Un nuovo articolo su arXiv presenta LSFormer, una rete neurale spiking ispirata all'architettura Transformer. Affronta due problemi principali nei modelli esistenti: il fallimento del max pooling nel preservare le caratteristiche chiave e l'elevata complessità quadratica dell'autoattenzione globale. Per migliorare sia l'efficienza che il modo in cui le caratteristiche sono rappresentate, LSFormer utilizza Spiking Response Pooling (SPooling) insieme a Local Structure-Aware Spiking Self-Attention (LS-SSA). Questo studio mira a fondere i vantaggi di scarsità ed efficienza energetica delle reti neurali spiking con il framework Transformer.
Fatti principali
- L'articolo arXiv 2605.13887 propone LSFormer.
- LSFormer affronta le limitazioni del max pooling nei Transformer SNN.
- LSFormer introduce Spiking Response Pooling (SPooling).
- LSFormer introduce Local Structure-Aware Spiking Self-Attention (LS-SSA).
- L'autoattenzione globale nei Transformer SNN esistenti ha complessità quadratica.
- LSFormer mira a ridurre la ridondanza computazionale.
- L'articolo è classificato come cross submission su arXiv.
- LSFormer è una nuova rete neurale spiking basata su Transformer.
Entità
Istituzioni
- arXiv