Il Propagatore di Stato Complesso Raggiunge il 100% di Precisione nei Compiti di Tracciamento Deterministico dello Stato
Una recente pubblicazione su arXiv (2608.03425) presenta il Propagatore di Stato Complesso (CSP), un framework ricorrente semplificato che opera esclusivamente attraverso la propagazione dello stato, omettendo le proiezioni di output durante le fasi intermedie. Lo stato è rappresentato come un vettore a valori complessi, modificato attraverso rotazioni dipendenti dall'input. Per facilitare la propagazione profonda, l'architettura incorpora connessioni skip a livello di blocco, normalizzazione complessa elemento per elemento e attivazione SiLU ai confini delle sequenze. Quando abbinato alla Focal Loss, CSP raggiunge una precisione impeccabile in compiti come il controllo di parità, il conteggio modulare e il matching delle parentesi. Gli autori sostengono che i meccanismi di attenzione potrebbero essere ridondanti per il tracciamento deterministico dello stato, affermando che la propagazione dello stato è sufficiente. Questa ricerca è significativa per l'IA e l'apprendimento automatico, specialmente nella modellazione di sequenze.
Fatti principali
- Il paper arXiv:2608.03425 introduce il Propagatore di Stato Complesso (CSP).
- CSP è un'architettura ricorrente minimalista che propaga solo gli stati nascosti.
- Lo stato è rappresentato come un vettore a valori complessi con rotazioni dipendenti dall'input.
- Vengono utilizzate connessioni skip a livello di blocco, normalizzazione complessa e attivazione SiLU.
- CSP raggiunge il 100% di precisione nel controllo di parità, nel conteggio modulare e nel matching delle parentesi.
- La Focal Loss viene applicata nell'addestramento.
- Il paper afferma che l'attenzione potrebbe essere eccessiva per il tracciamento deterministico dello stato.
- Il lavoro è pubblicato su arXiv.
Entità
Istituzioni
- arXiv