Residui di Attenzione con Ruoli Disaccoppiati Migliorano il Routing di Profondità nei Transformer
Un recente preprint su arXiv (2608.01075) presenta i Residui di Attenzione con Ruoli Disaccoppiati (RD-AttnRes), un miglioramento minimale ai framework di routing di profondità nei Transformer. Questi framework consentono ai livelli di accedere a rappresentazioni precedenti oltre all'ultimo stato. Gli attuali Residui di Attenzione a Blocco si basano su una singola miscela di profondità dipendente dal contenuto per query, chiavi e valori, intrecciando i distinti processi di corrispondenza (query e chiavi) con il recupero del contenuto (valori). RD-AttnRes separa queste funzioni impiegando un percorso di profondità unificato per query e chiavi, consentendo al contempo un percorso di valori indipendente dalle stesse fonti residue. Questo approccio richiede solo un vettore aggiuntivo di larghezza del modello per livello e non aggiunge calcoli extra token-to-token. Gli autori suggeriscono che diverse profondità possano migliorare la corrispondenza e il recupero del contenuto. Il documento è disponibile su arXiv con l'identificatore 2608.01075.
Fatti principali
- Il preprint arXiv 2608.01075 introduce i Residui di Attenzione con Ruoli Disaccoppiati (RD-AttnRes).
- RD-AttnRes è un'estensione minimale alle architetture residuali di routing di profondità nei Transformer.
- Gli esistenti Residui di Attenzione a Blocco utilizzano una singola miscela di profondità dipendente dal contenuto per query, chiavi e valori.
- RD-AttnRes condivide un percorso di profondità tra query e chiavi mentre apprende un percorso di valori indipendente.
- L'estensione aggiunge solo un vettore di larghezza del modello per livello.
- Non viene introdotto alcun calcolo aggiuntivo token-to-token.
- Il documento si chiede se la corrispondenza e il recupero del contenuto debbano leggere dalla stessa profondità.
- Il preprint è annunciato come nuovo su arXiv.
Entità
Istituzioni
- arXiv