HERO: Migliorare gli Operatori Neurali Autoregressivi a Lungo Orizzonte con Addestramento al Rollout Arricchito dalla Storia

È stato introdotto un nuovo approccio di addestramento noto come addestramento al rollout arricchito dalla storia (HERO) per migliorare le prestazioni a lungo termine degli operatori neurali che fungono da surrogati per equazioni differenziali alle derivate parziali (PDE) dipendenti dal tempo. Mentre gli operatori neurali applicano ricorsivamente un operatore di evoluzione appreso alle loro previsioni, questo processo autoregressivo può portare all'accumulo di errori locali a causa del feedback delle imprecisioni di previsione. Gli attuali metodi di addestramento al rollout si concentrano sulla minimizzazione della differenza tra gli input di addestramento e gli stati auto-generati, ma valutano solo la deviazione assoluta dalla traiettoria vera, non riuscendo a indicare se l'operatore ha risolto precedenti fallimenti a lungo orizzonte. HERO migliora questo aspetto incorporando una supervisione relativa basata sulla storia di ottimizzazione del modello. Valuta rollout candidati da un operatore ritardato periodicamente aggiornato, dal modello corrente e da una versione modificata, offrendo un feedback più completo. Questo metodo è descritto in un articolo su arXiv (ID 2607.29135), classificato come invio incrociato, e mira ad affrontare il problema dell'accumulo di errori negli operatori neurali autoregressivi, potenzialmente migliorando la loro affidabilità per simulazioni a lungo termine nel calcolo scientifico.