SAFformer: Nuovo Trasformatore Spike Raggiunge l'80,50% di Precisione Top-1 su ImageNet-1K
Una nuova architettura chiamata SAFformer è stata sviluppata dai ricercatori, rappresentando un Trasformatore Spike che utilizza un approccio di filtraggio predittivo attivo, ispirandosi al sistema di codifica predittiva del cervello. A differenza dei tradizionali Trasformatori Spike che operano su base passiva reattiva, SAFformer minimizza attivamente i segnali prevedibili, concentrandosi su elementi visivi importanti e riducendo così il carico computazionale associato alle informazioni visive ridondanti. Questo modello stabilisce un nuovo punto di riferimento per le prestazioni sui dataset CIFAR-10/100 e CIFAR10-DVS. Raggiunge inoltre l'80,50% di precisione Top-1 su ImageNet-1K, utilizzando solo 26,58 milioni di parametri con un consumo energetico minimo. Questo progresso affronta una limitazione chiave nei Trasformatori Spike esistenti, consentendo loro di concentrarsi sulle informazioni pertinenti al compito. La ricerca è pubblicata su arXiv, riferimento 2605.08270.
Fatti principali
- SAFformer è un'architettura di Trasformatore Spike basata sul filtraggio predittivo attivo.
- È ispirata al meccanismo di codifica predittiva del cervello.
- Sopprime i segnali prevedibili e si concentra sulle caratteristiche visive salienti.
- Raggiunge nuovi risultati all'avanguardia su CIFAR-10/100 e CIFAR10-DVS.
- Su ImageNet-1K, raggiunge l'80,50% di precisione Top-1.
- Utilizza solo 26,58 milioni di parametri.
- Offre un basso consumo energetico.
- L'articolo è su arXiv (2605.08270).
Entità
Istituzioni
- arXiv