Il Framework JumpLoRA Introduce Adattatori Sparsi per l'Apprendimento Continuo nei Modelli Linguistici di Grande Dimensione

Un nuovo framework denominato JumpLoRA è stato introdotto per migliorare l'apprendimento continuo nei modelli linguistici di grande dimensione attraverso adattatori sparsi. Utilizzando il gating JumpReLU, questa tecnica crea sparsità all'interno dei blocchi di Adattamento a Basso Rango, consentendo un isolamento dinamico dei parametri che evita l'interferenza tra compiti. Questo metodo modulare si integra perfettamente con le strategie di apprendimento continuo basate su LoRA esistenti. In particolare, JumpLoRA migliora le prestazioni di IncLoRA e supera la migliore tecnica di apprendimento continuo all'avanguardia, ELLA. I metodi basati su adattatori offrono una soluzione economicamente efficiente per l'apprendimento continuo nei LLM acquisendo sequenzialmente matrici di aggiornamento a basso rango per ciascun compito. Per affrontare l'oblio catastrofico, le strategie attuali applicano vincoli sui nuovi adattatori in relazione a quelli precedenti, concentrandosi sull'interferenza a livello di sottospazio o coordinata. Lo studio è stato pubblicato su arXiv con l'identificatore 2604.16171.