Autoencoder Sparsi Residualizzati Migliorano gli Interventi su Trasformatori a Strati Multipli

Un nuovo metodo chiamato Autoencoder Sparsi Residualizzati (ReSAEs) è stato sviluppato dai ricercatori per addestrare autoencoder sparsi attraverso vari strati di trasformatori. Questa tecnica prevede la creazione di una mappatura affine tra gli strati e l'addestramento di autoencoder sparsi degli strati successivi sui residui che rimangono inspiegati. In questo modo, si minimizza la ridondanza nei decodificatori e si migliorano il probing sparso e la perturbazione mirata, come dimostrato nei test su Pythia-1.4B e Gemma-2-9B. Questo metodo affronta il problema delle attivazioni del flusso residuo interdipendenti a diverse profondità, che porta a dizionari di strati multipli che trasmettono informazioni identiche e provocano interazioni erratiche durante gli interventi su più strati. Le ricostruzioni vengono riconvertite nello spazio di attivazione originale tramite la catena affine stabilita, facilitando la valutazione con metodi di intervento convenzionali.