Attenzione Consapevole della Massa: Nuovo Meccanismo per l'Accumulo di Evidenza nelle Reti Neurali

Uno studio recente pubblicato su arXiv (2607.22781) presenta l'Attenzione Consapevole della Massa (MAA), un approccio innovativo che migliora i meccanismi di attenzione tradizionali incorporando la quantità di evidenza accumulata nelle rappresentazioni delle reti neurali. I ricercatori evidenziano un difetto nella media ponderata dell'attenzione convenzionale: quando i pattern di evidenza si ripetono, sia il numeratore che il denominatore aumentano allo stesso ritmo, portando a aggregati identici per input con conteggi di evidenza variabili. MAA estende la normalizzazione L1 alla famiglia Lp, consentendo al numeratore e al denominatore di scalare in modo diverso in caso di ripetizione, mantenendo così il numero effettivo di input che contribuiscono alla grandezza della rappresentazione. Questo metodo non introduce alcuna supervisione aggiuntiva, parametri, dimensioni nascoste o caratteristiche di conteggio esplicite, e torna all'attenzione standard quando p=1. Il documento è classificato come annuncio di tipo incrociato.