Moonwalk: Differenziazione Inversa-Forward

Un nuovo articolo su arXiv propone Moonwalk, un metodo per eliminare la necessità di memorizzare le attivazioni intermedie durante l'addestramento delle reti neurali. Il collo di bottiglia della memoria nella backpropagation deriva dal salvare i residui nel forward pass. Gli autori definiscono reti sommerse con cokernel Jacobiani banali, consentendo una ricostruzione esatta del gradiente senza attivazioni memorizzate. Per i livelli non sommersi, il fragmental gradient checkpointing registra solo residui minimi per ripristinare i cotangenti persi. L'innovazione chiave è l'operatore vettore-inverso. Questo lavoro affronta una limitazione fondamentale nell'addestramento di reti profonde.