Il Metodo PERA Migliora il Fine-Tuning dell'IA con Espansioni Polinomiali

Una nuova tecnica denominata Polynomial Expansion Rank Adaptation (PERA) è stata introdotta per superare le sfide associate al fine-tuning dei grandi modelli linguistici. Sebbene il low-rank adaptation (LoRA) sia un metodo popolare per il fine-tuning efficiente, il suo quadro strettamente lineare limita la sua capacità di esprimere interazioni complesse. Questo approccio lineare cattura solo dipendenze di primo ordine tra i fattori di basso rango, ostacolando la modellazione di interazioni non lineari e di ordine superiore. PERA migliora lo spazio dei fattori di basso rango incorporando un'espansione polinomiale strutturata, consentendo la generazione di termini di interazione di ordine superiore. Questa innovazione trasforma lo spazio di adattamento in una varietà polinomiale, facilitando un accoppiamento non lineare più ricco senza aumentare il rango o i costi di inferenza. Le valutazioni teoriche indicano che PERA utilizza le caratteristiche in modo più efficace rispetto ai metodi attuali. Questa ricerca è stata condivisa su arXiv con l'identificatore arXiv:2604.11841v1, classificata come annuncio incrociato.