Stabilito il quadro di irreversibilità degli algoritmi di addestramento dell'IA
Un nuovo quadro generale è stato stabilito dai ricercatori per definire e analizzare l'irreversibilità associata agli algoritmi di addestramento dell'IA, che coinvolgono processi dinamici lontani dall'equilibrio. I loro risultati rivelano che quattro diversi aspetti dell'irreversibilità—errore numerico all'indietro, correzione temporale rinormalizzata, asimmetria microscopica di inversione temporale e produzione di entropia stocastico-termodinamica—sono equivalenti all'ordine principale rispetto alla dimensione del passo η. Questa irreversibilità porta all'emergere di una forza che rompe la simmetria di inversione temporale, interrompendo le simmetrie di riparametrizzazione continua non isometriche, pur mantenendo le simmetrie ortogonali. Questa ricerca è documentata nell'articolo 2605.21933 su arXiv.
Fatti principali
- Quattro caratterizzazioni dell'irreversibilità sono equivalenti all'ordine principale nella dimensione del passo η.
- L'irreversibilità rompe le simmetrie di riparametrizzazione continua non isometriche.
- L'irreversibilità preserva le simmetrie ortogonali.
- Il quadro copre errore numerico all'indietro, correzione temporale rinormalizzata, asimmetria microscopica di inversione temporale e produzione di entropia stocastico-termodinamica.
- Gli algoritmi di addestramento introducono processi dinamici lontani dall'equilibrio.
- Il lavoro è un passo fondamentale verso la comprensione delle dinamiche di apprendimento dei moderni sistemi di IA.
- La forza emergente rompe la simmetria di inversione temporale.
- Articolo pubblicato su arXiv con ID 2605.21933.
Entità
Istituzioni
- arXiv