LIFT e PLACE: Distillazione Efficiente della Conoscenza per Modelli di Diffusione Leggeri
I ricercatori propongono LIFT e PLACE, un framework di distillazione della conoscenza dal grossolano al fine per modelli di diffusione leggeri. LIFT scompone l'obiettivo in allineamento grossolano e raffinamento fine, mentre PLACE affronta errori spazialmente non uniformi con guida localmente adattiva. Gli esperimenti mostrano efficacia in spazi di diffusione, backbone, compiti e dataset, estendendosi a modelli basati su flusso.
Fatti principali
- LIFT sta per distillazione basata su adattamento lineare.
- PLACE sta per stima locale adattiva a coefficienti a tratti.
- Il framework affronta la sfida del complesso processo di denoising della rete insegnante.
- LIFT scompone l'obiettivo in allineamento grossolano e raffinamento fine.
- PLACE suddivide le uscite in gruppi basati su errori per guida localmente adattiva.
- Efficace in spazi di diffusione di immagini e latenti.
- Efficace su backbone U-Net e DiT.
- Efficace per compiti incondizionati e condizionati.
Entità
Istituzioni
- arXiv