BaLoRA: L'Adattamento Bayesiano a Basso Rango Migliora l'Accuratezza e l'Incertezza del Fine-Tuning
I ricercatori hanno introdotto BaLoRA, un'estensione bayesiana del Low-Rank Adaptation (LoRA) per il fine-tuning di grandi modelli pre-addestrati. LoRA riduce il costo computazionale ma soffre di limitata espressività e manca di quantificazione dell'incertezza. BaLoRA aggiunge parametri e calcolo minimi attraverso una parametrizzazione bayesiana adattiva all'input delle matrici LoRA. Il metodo produce stime di incertezza ben calibrate e, sorprendentemente, migliora l'accuratezza delle previsioni tramite iniezione di rumore adattiva, riducendo il divario con il fine-tuning completo su compiti di ragionamento nel linguaggio naturale e visione. Nella previsione del band gap per strutture metallo-organiche, BaLoRA raggiunge prestazioni zero-shot in fase di test. Il lavoro affronta una limitazione chiave di LoRA nelle applicazioni critiche per l'affidabilità.
Fatti principali
- BaLoRA è un'estensione bayesiana del Low-Rank Adaptation (LoRA).
- LoRA è lo standard per il fine-tuning di grandi modelli pre-addestrati a costo ridotto.
- Gli aggiornamenti a basso rango con stima puntuale di LoRA limitano l'espressività e l'accuratezza.
- LoRA non fornisce una quantificazione dell'incertezza integrata.
- BaLoRA utilizza una parametrizzazione bayesiana adattiva all'input delle matrici LoRA.
- BaLoRA aggiunge parametri e calcolo minimi.
- BaLoRA produce stime di incertezza ben calibrate.
- L'iniezione di rumore adattiva in BaLoRA migliora l'accuratezza delle previsioni.
- BaLoRA riduce il divario con il fine-tuning completo su compiti di ragionamento nel linguaggio naturale e visione.
- BaLoRA è stato applicato alla previsione del band gap in strutture metallo-organiche.
- BaLoRA produce prestazioni zero-shot in fase di test per la previsione del band gap.
Entità
Istituzioni
- arXiv