Le Reti di Attenzione Saccadica Riducono i Calcoli dei Trasformatori dell'80% Tramite Elaborazione Visiva Ispirata all'Uomo

Un nuovo articolo di ricerca propone le Reti di Attenzione Saccadica, che applicano il transfer learning dei meccanismi di attenzione per ridurre drasticamente le dimensioni delle reti neurali. L'approccio imita i movimenti saccadici dell'occhio umano che si concentrano selettivamente su caratteristiche visive chiave anziché elaborare intere scene. Addestrando una rete a identificare elementi cruciali da modelli pre-addestrati di grandi dimensioni, le lunghezze delle sequenze di input possono essere ridotte alle sole regioni attenzionate. Questo metodo affronta le limitazioni dei trasformatori in cui le matrici di attenzione quadratiche vincolano l'elaborazione delle sequenze. I risultati sperimentali mostrano riduzioni computazionali che si avvicinano all'80% mantenendo livelli di prestazioni comparabili. La tecnica si rivolge specificamente alle applicazioni di visione artificiale dove i modelli di attenzione sparsa si verificano naturalmente. La ricerca è stata pubblicata su arXiv nella categoria Computer Vision and Pattern Recognition. L'articolo esplora come i sistemi visivi biologici possano ispirare architetture di intelligenza artificiale più efficienti.