Nuova architettura AI SEAD sfida i limiti di generalizzazione delle reti neurali
Un articolo di ricerca propone l'architettura Spatiotemporal Evolution with Attractor Dynamics (SEAD), un automa cellulare neurale derivato da principi fisici per affrontare l'incapacità delle reti neurali di generalizzare. Il lavoro sostiene che i fallimenti nella generalizzazione, come l'incapacità di un'IA di applicare l'addizione da numeri a 16 cifre a numeri a 32 cifre, derivano dalla violazione di postulati fisici piuttosto che da difetti ingegneristici. Vengono identificati tre vincoli fondamentali per qualsiasi sistema generalizzante: Località, che richiede che l'informazione si propaghi a velocità finita; Simmetria, che esige che le leggi computazionali rimangano invarianti nello spazio e nel tempo; e Stabilità, che necessita di convergenza verso attrattori discreti che resistono al rumore. Il modello SEAD implementa regole convoluzionali locali che iterano fino alla convergenza, ispirate dalla fisica. La validazione sperimentale è stata condotta su tre compiti, inclusa la parità, per dimostrare una perfetta generalizzazione della lunghezza attraverso la propagazione del cono di luce. L'articolo, identificato come arXiv:2602.01651v2, è stato annunciato come replace-cross sul server di preprint arXiv. Questo approccio contrasta con il design tradizionale delle reti neurali derivando l'architettura da principi primi piuttosto che ingegnerizzandola empiricamente.
Fatti principali
- L'articolo introduce l'architettura SEAD, un automa cellulare neurale.
- Affronta l'incapacità delle reti neurali di generalizzare, come con l'addizione da numeri a 16 cifre a numeri a 32 cifre.
- Vengono identificati tre vincoli fisici per la generalizzazione: Località, Simmetria e Stabilità.
- L'architettura è derivata da questi postulati piuttosto che progettata empiricamente.
- Gli esperimenti hanno validato la teoria su tre compiti, inclusa la parità.
- L'articolo è arXiv:2602.01651v2, annunciato come replace-cross su arXiv.
- Il fallimento nella generalizzazione è argomentato come violazione di postulati fisici, non come problema ingegneristico.
- SEAD utilizza regole convoluzionali locali iterate fino alla convergenza.
Entità
Istituzioni
- arXiv