Proprietà Invarianti Scoperte nei Meccanismi di Attenzione Softmax

Un nuovo preprint su arXiv (2605.02907) rivela proprietà invarianti nell'attenzione softmax, un componente centrale dei modelli transformer. Gli autori definiscono il 'campo energetico' come i logit di attenzione centrati per riga e dimostrano due classi di invarianti. Gli invarianti a livello di meccanismo derivano dalla struttura algebrica dell'attenzione softmax, inclusi un vincolo di somma zero per riga, un limite di rango determinato dalla dimensione della testa e firme spettrali. Le regolarità a livello di modello, non richieste dal meccanismo, valgono per tutti i modelli linguistici autoregressivi testati di varie famiglie architetturali. La varianza del campo energetico si distribuisce sulle posizioni chiave senza concentrazione, una proprietà ricondotta all'incoerenza delle chiavi nella matrice delle chiavi. Questi risultati hanno conseguenze pratiche per comprendere e migliorare i modelli basati sull'attenzione.