HyperAdapt: Adattamento Efficiente ad Alto Rango per Modelli Fondazionali
Un nuovo metodo di fine-tuning efficiente in termini di parametri, chiamato HyperAdapt, è stato introdotto in un articolo su arXiv (2509.18629). HyperAdapt riduce i parametri addestrabili rispetto a metodi come LoRA applicando scaling per righe e colonne tramite matrici diagonali a una matrice di pesi pre-addestrata, ottenendo un aggiornamento ad alto rango con solo n+m parametri per una matrice n×m. Il metodo è teoricamente limitato nel rango e induce empiricamente trasformazioni ad alto rango attraverso i layer. Esperimenti su GLUE, ragionamento aritmetico e ragionamento di senso comune dimostrano la sua efficacia. L'articolo è scritto da ricercatori e pubblicato come annuncio cross-replace.
Fatti principali
- HyperAdapt è un metodo di fine-tuning efficiente in termini di parametri.
- Riduce i parametri addestrabili rispetto a LoRA.
- Adatta la matrice di pesi pre-addestrata usando scaling per righe e colonne tramite matrici diagonali.
- Richiede solo n+m parametri addestrabili per una matrice n×m.
- Induce aggiornamenti ad alto rango.
- Viene stabilito un limite superiore teorico sul rango.
- Induce empiricamente trasformazioni ad alto rango attraverso i layer del modello.
- Testato su GLUE, ragionamento aritmetico e ragionamento di senso comune.
Entità
Istituzioni
- arXiv