Framework di Addestramento a Precisione Mista per Neural ODE

È stato proposto un nuovo framework di addestramento a precisione mista per equazioni differenziali ordinarie neurali (Neural ODE). Il framework utilizza calcoli a bassa precisione per valutare la velocità parametrizzata dalla rete neurale e per memorizzare valori intermedi, mantenendo i pesi in alta precisione. Incorpora risolutori ODE espliciti e uno schema di backpropagation personalizzato. L'approccio mira a ridurre i costi computazionali e l'uso della memoria senza sacrificare l'accuratezza. Esperimenti su vari compiti di apprendimento dimostrano la sua efficacia. Il lavoro affronta la sfida di applicare la precisione mista alle architetture a tempo continuo, che in precedenza soffrivano di errori di arrotondamento e instabilità.