Ortho-Hydra: Risolvere il Bleeding di Stile nel Fine-Tuning LoRA dei DiT

Un approccio innovativo chiamato Ortho-Hydra affronta il problema del bleeding di stile riscontrato nel fine-tuning LoRA dei transformer di diffusione (DiT) quando si lavora con dataset multi-stile. Il bleeding di stile si verifica quando un singolo residuo a basso rango non riesce a catturare le diverse firme artistiche distinte, portando l'ottimizzatore a convergere sulla loro media. Nel framework HydraLoRA, il mixture-of-experts LoRA sostituisce la proiezione verso l'alto con E teste gestite da un router, ma l'inizializzazione zero causa gradienti identici e routing uniforme, con il risultato che esperti permutazionalmente simmetrici vengono addestrati come un singolo LoRA di rango r a un costo E×. Ortho-Hydra riparametrizza innovativamente questo integrando una base condivisa di Cayley-ortogonale di tipo OFT con sottospazi di output separati per ogni esperto, derivati dai primi (Er) vettori singolari sinistri dei pesi pre-addestrati. Questa disgiunzione garantisce che il punteggio per esperto del router non sia degenere fin dall'inizio, facilitando immediatamente la specializzazione. Il metodo è descritto in un articolo disponibile su arXiv con ID 2605.03252.