La regolarizzazione basata su sketch migliora l'addestramento in situ dei compressori neurali impliciti

Un recente articolo su arXiv (ID: 2511.02659) presenta un nuovo protocollo per l'addestramento in situ di rappresentazioni neurali implicite (INR). Questo approccio utilizza buffer di memoria limitati contenenti sia campioni completi che campioni sketchati per mitigare l'oblio catastrofico. La base teorica per l'uso dello sketching come regolarizzatore deriva da un risultato informato da Johnson-Lindenstrauss. Il metodo enfatizza la compressione neurale in situ tramite iperreti basate su INR, testato su dati di simulazione complessi in due e tre dimensioni, su lunghi periodi di tempo, e su griglie non strutturate e geometrie non cartesiane. I risultati rivelano notevoli capacità di ricostruzione ad alti tassi di compressione, con lo sketching che si avvicina molto alle prestazioni dell'addestramento con dati completi. Scritto da ricercatori non nominati, questo lavoro potrebbe influenzare l'apprendimento continuo, sebbene si concentri principalmente sulla compressione di dati di simulazione scientifica.