Studio arXiv Testa le Mappe d'Azione Interne in Qwen3-4B Senza Chiusura Affine Globale

Una recente sottomissione a arXiv (2608.13626) esplora il potenziale dei segnali di stato nascosto nei grandi modelli linguistici per facilitare mappe d'azione riutilizzabili senza richiedere una chiusura affine globale. Questo preprint valuta mappe d'azione che vengono aggiustate senza che una sorgente raggiunga la sua attivazione e composizione post-azione intrinseca. Gli autori strutturano i loro esperimenti come un reticolo di evidenze, confermando il ramo geometrico su un noto supporto affine S_5, dove tutte le pieghe con sorgente trattenuta superano con successo i cancelli di passo singolo, composizione, inverso, decodifica e commutatività. Mentre la curvatura strutturata e la coniugazione nel dominio trattenuto portano a un aumento costante dell'errore, solo 23 delle 30 celle più forti attivano un cancello di chiusura, limitando la calibrazione piuttosto che universalizzandola. Nel modello post-addestrato Qwen/Qwen3-4B, l'errore medio per entità trattenuta per le mappe affini h28 congelate del token finale è .519, rispetto a .398 per il cross-fit all'interno del dominio di test. Sette suddivisioni casuali delle entità e la geometria delle mappe non supportano una spiegazione puramente specifica dell'entità. I livelli precedenti h4/h16 dimostrano un adattamento superiore per le transizioni a passo singolo, ma la decodifica dello stato di conflitto h4 è inadeguata, e i controlli lessicali rimangono non esaminati. La ricerca migliora la comprensione delle rappresentazioni interne e delle mappe d'azione nei modelli transformer, influenzando l'interpretabilità e l'allineamento.