Il framework CARV riduce la varianza nelle pipeline di insegnamento dei modelli diffusivi

Un nuovo framework chiamato CARV (Compute-Aware Variance Accounting) mira a ridurre la varianza degli stimatori nelle pipeline che utilizzano modelli diffusivi preaddestrati come insegnanti congelati, come la generazione text-to-3D, la distillazione a singolo passo e l'attribuzione dei dati. Queste pipeline si basano su aspettative Monte Carlo sui livelli di rumore e sui campioni di rumore gaussiano, dove ogni estrazione richiede costosi calcoli a monte come rendering, simulazione o codifica. CARV introduce uno stimatore Monte Carlo gerarchico che ammortizza i costosi calcoli a monte su ricampionamenti economici del rumore di diffusione, migliorato dal campionamento per importanza dei timestep e da una costruzione stratified-inverse-CDF. Esperimenti nella distillazione text-to-3D e nell'attribuzione mostrano che CARV fornisce moltiplicatori di calcolo effettivi di 2-3x, con la maggior parte dei guadagni dal riutilizzo ammortizzato e circa il 25% aggiuntivo dal campionamento per importanza e dalla stratificazione. Nella distillazione a singolo passo, le stesse tecniche riducono significativamente la varianza del gradiente. Il framework non modifica la funzione obiettivo. Il paper è disponibile su arXiv con ID 2605.21489.