LayerCache Framework Ottimizza l'Inferenza del Flow Matching Tramite Caching Stratificato

LayerCache, un innovativo framework di caching, affronta le elevate esigenze computazionali associate ai modelli Flow Matching utilizzati nella generazione di immagini. Sebbene questi modelli producano immagini di qualità eccellente, richiedono un processo iterativo di denoising attraverso estese reti Transformer, che risulta costoso. Lo studio, disponibile nella preprint arXiv 2604.16492v1, rivela che diversi gruppi di layer all'interno di un Transformer mostrano dinamiche di velocità eterogenee. Gli strati superficiali sono sufficientemente stabili per consentire un caching aggressivo, mentre gli strati profondi subiscono significativi cambiamenti di velocità che richiedono il calcolo completo. Le attuali tecniche di caching considerano il Transformer come un'entità singola, prendendo decisioni di caching uniformi per ogni step temporale e trascurando le differenze specifiche dei layer. LayerCache suddivide il Transformer in gruppi, consentendo decisioni di caching indipendenti per ciascun gruppo in ogni fase di denoising. Include inoltre un metodo adattivo di selezione dello span JVP K che sfrutta metriche di stabilità per ottimizzare sia l'accuratezza che l'efficienza computazionale, con l'obiettivo di ridurre i costi di inferenza senza compromettere la qualità delle immagini.