CoRe: Spostare il Fine-Tuning dell'Apprendimento Continuo dallo Spazio dei Pesi allo Spazio delle Rappresentazioni

Un recente articolo su arXiv presenta Continual Representation Learning (CoRe), un nuovo framework che trasforma il concetto di fine-tuning per l'apprendimento continuo concentrandosi sullo spazio delle rappresentazioni invece che sullo spazio dei pesi. Citato come arXiv:2603.11201v3, la ricerca critica le tecniche esistenti di Parameter-Efficient Fine-Tuning (PEFT), che dipendono da un'ottimizzazione empirica opaca a livello di pesi, con conseguente mancanza di controllo sulla deriva delle rappresentazioni. Questa carenza contribuisce alla vulnerabilità ai cambiamenti di dominio e all'oblio catastrofico nei contesti di apprendimento continuo. CoRe mitiga questi problemi implementando aggiustamenti specifici per il compito all'interno di un sottospazio lineare a basso rango delle rappresentazioni nascoste, utilizzando un processo di apprendimento con obiettivi chiari. Questo spostamento dal fine-tuning a livello di pesi a quello a livello di rappresentazioni potrebbe migliorare l'adattabilità a flussi di dati in cambiamento. L'articolo completo è disponibile su https://arxiv.org/abs/2603.11201.