GPart: Ottimizzazione Isometrica tramite Partizionamento Globale dei Parametri

Introducendo GPart (Global Partition fine-tuning), un nuovo metodo per l'ottimizzazione efficiente dei parametri che elimina completamente la limitazione del basso rango. A differenza di LoRA e dei suoi derivati, GPart utilizza una singola matrice di partizionamento isometrica per tradurre direttamente un vettore addestrabile d-dimensionale nello spazio completo dei pesi del modello. Questo approccio mantiene la distanza nel panorama di ottimizzazione, affrontando efficacemente il problema fondamentale della distorsione. Il processo è semplificato in una pipeline estremamente semplice: una singola proiezione casuale, eseguita end-to-end. La ricerca è disponibile su arXiv con l'identificatore 2605.14841.