E²-LoRA: Adattamento a Basso Rango Ordinato per Energia per l'Apprendimento Continuo

Viene proposto un nuovo metodo chiamato E²-LoRA (Adattamento a Basso Rango Concentrato e Ordinato per Energia) per affrontare l'interferenza tra compiti nell'Apprendimento Continuo (CL). L'approccio si basa sull'osservazione che la deriva delle caratteristiche di output dovuta agli aggiornamenti dei parametri è intrinsecamente a basso rango, e preservare i parametri lungo le direzioni principali minimizza l'errore di ricostruzione. E²-LoRA ordina e concentra la conoscenza nei ranghi principali, liberando capacità per compiti futuri. Una strategia di allocazione dinamica del rango bilancia stabilità e plasticità ottimizzando la ritenzione energetica e la plasticità del modello. Il metodo è validato su più benchmark.