Colmare il divario tra fine-tuning lineare e non lineare per i vettori di task

Un recente articolo su arXiv (2605.18993) introduce una tecnica che unisce i vantaggi del fine-tuning lineare e non lineare per comporre vettori di task in modelli pre-addestrati. I vettori di task facilitano l'integrazione dei modelli tramite addizione e consentono il disimparare tramite sottrazione. Mentre il fine-tuning lineare nello spazio tangente produce vettori disaccoppiati meno soggetti a interferenze, limita anche l'espressività e aumenta i requisiti computazionali. Per affrontare questo problema, gli autori impongono la linearità rispetto alle perturbazioni dei pesi applicando vincoli nello spazio di attivazione durante la fase di addestramento. Estraggono rappresentazioni nascoste da un insegnante linearizzato regolarizzato sulla curvatura e le usano per addestrare uno studente non lineare tramite fine-tuning standard, consentendo un'aritmetica dei task efficace senza le limitazioni dei modelli completamente lineari.