Framework di Robustezza a Livello di Segmento per Modelli LoRA Fine-Tuned
Il nuovo framework introdotto, S²R², affronta il problema della sensibilità dei grandi modelli linguistici alle variazioni del prompt implementando una robustezza a livello di segmento durante il fine-tuning LoRA. A differenza delle tecniche attuali che mantengono la coerenza su intere sequenze, S²R² scompone sia gli output puliti che quelli alterati in segmenti semantici. Questi segmenti vengono allineati tramite trasporto ottimale, con penalità applicate a quelli che mostrano i cambiamenti di significato più significativi. Inoltre, il framework include un regolarizzatore di stabilità dell'adattatore che rialloca l'attenzione a livello di segmento, utilizzando il controllo della norma LoRA per mitigare gli spostamenti di evidenza amplificati dalle perturbazioni. Una prospettiva di complessità PAC-Bayesiana chiarisce come la gestione della crescita dell'adattatore aiuti il trasferimento. Questa ricerca è disponibile su arXiv con ID 2605.01605.
Fatti principali
- S²R² è un framework a livello di segmento per il robusto fine-tuning LoRA.
- Scompone le generazioni pulite e perturbate in segmenti semantici.
- I segmenti sono allineati con un obiettivo di trasporto ottimale.
- Penalizza i segmenti con il maggior spostamento di significato.
- Include un regolarizzatore di stabilità dell'adattatore motivato dalla riallocazione dell'attenzione a livello di segmento.
- Utilizza il controllo della norma LoRA come proxy per limitare gli spostamenti di evidenza amplificati dalle perturbazioni.
- Una visione di complessità PAC-Bayesiana spiega perché controllare la crescita dell'adattatore supporti il trasferimento.
- Pubblicato su arXiv con ID 2605.01605.
Entità
Istituzioni
- arXiv