Uno studio rileva che l'attenzione non convoglia le variabili latenti in forma verbalizzabile

Una recente indagine pubblicata su arXiv (2608.15022) esamina il processo attraverso il quale le quantità latenti nei modelli linguistici possono essere articolate, mettendo in discussione la metafora del 'workspace' che suggerisce un cancello per l'ingresso delle informazioni. I ricercatori hanno utilizzato modelli a pesi aperti e lenti jacobiane per valutare se l'attenzione funge da questo cancello in un benchmark con cinque bracci che condividono lo stesso contesto. I risultati non hanno mostrato alcuna indicazione di un cancello previsto. In particolare, la richiesta (requisito del compito) ha aumentato la visibilità del concetto attraverso la lente, con un incremento di +0.050 punti percentili sul checkpoint principale, influenzando positivamente tutti e quattro i modelli valutati, nonostante un braccio abbia raggiunto il suo tetto di accuratezza. Inoltre, una mappa lineare unificata ha decodificato con successo la variabile da ciascun braccio, incluso il controllo, a 6.4-9.0 volte il suo livello di base corretto per selezione. Questi risultati implicano che la forma leggibile successiva emerge da meccanismi oltre il gating basato sull'attenzione, sollevando nuove domande su come il contenuto latente diventi verbalizzato.