Nuova Metrica Misura le Dinamiche del Workspace Globale nei Modelli Linguistici

I ricercatori hanno introdotto una nuova metrica nota come Indice di Ignizione (I) per migliorare le previsioni di ignizione tutto-o-niente basate sulla Teoria del Workspace Globale (GWT) nei modelli linguistici transformer. Questa metrica utilizza una funzione sigmoide con quattro parametri per valutare sonde lineari per livello legate all'intensità del segnale in ingresso, portando a un parametro di pendenza chiamato beta-hat. Valori elevati di beta-hat indicano cambiamenti rapidi, simili a ignizione, mentre valori più bassi suggeriscono cambiamenti più graduali. In uno studio che ha analizzato 11 modelli provenienti da cinque famiglie di architetture, i risultati hanno mostrato una preferenza di 9,6 volte per strutture linguistiche genuine rispetto a capacità fuorvianti delle sonde (p < 0,001, test U di Mann-Whitney). I transformer feedforward hanno superato i modelli a spazio di stato (SSM) dell'89% in beta-hat (p < 1e-13, d di Cohen = 0,52). I profili di Mamba erano quasi lineari, privi di broadcast globale, e Huginn-3.5B ha mostrato un'ignizione 2,12 volte maggiore lungo l'asse di iterazione rispetto all'asse di profondità, indicando che la ricorrenza migliora le dinamiche del workspace globale. Questa ricerca è disponibile su arXiv con ID 2608.05160.