Test di Rimozione dell'Entropia Incrociata nella Sonda Energetica K-Way su Reti di Codifica Predittiva
Un nuovo studio analizza il comportamento della sonda energetica K-way nelle reti di codifica predittiva quando non viene utilizzata la perdita di entropia incrociata. Nel 2026, Cacioli ha scoperto che, in cinque condizioni specifiche, la sonda diventa una semplice funzione del margine log-softmax, in particolare quando l'entropia incrociata è presente all'output. Questa ricerca esplora due configurazioni: una che utilizza l'errore quadratico medio al posto dell'entropia incrociata e un'altra con codifica predittiva bidirezionale (bPC) come descritto da Oliviers, Tang e Bogacz nel 2025. Utilizzando 10 semi su CIFAR-10 con un modello da 2,1 milioni di parametri, i risultati mostrano che la sonda nella PC standard è inferiore al softmax, mentre nella bPC è superiore in tutti i semi. Tuttavia, la bPC non mostra un movimento latente significativamente maggiore rispetto alla PC standard a questa scala. Puoi consultare lo studio completo su arXiv:2604.21286v1.
Fatti principali
- Cacioli (2026) ha dimostrato che la sonda energetica K-way si riduce a una funzione monotona del margine log-softmax.
- La riduzione si basa su cinque ipotesi, tra cui l'entropia incrociata e l'inferenza feedforward.
- Studio preregistrato che testa la sensibilità alla rimozione dell'entropia incrociata.
- Due condizioni: PC standard con MSE e PC bidirezionale (bPC).
- 10 semi su CIFAR-10 con backbone da 2,1 milioni di parametri.
- PC standard: sonda inferiore al softmax (Delta = -0,082, p < 10^-6).
- bPC: sonda superiore al softmax in tutti i 10 semi (Delta = +0,008, p = 0,000027).
- bPC non produce un movimento latente maggiore rispetto alla PC standard (rapporto 1,6).
Entità
Istituzioni
- arXiv