Apprendimento Ancorato Previene l'Oblio Catastrofico nel Fine-Tuning degli LLM
Un nuovo framework chiamato Apprendimento Ancorato affronta l'oblio catastrofico nel fine-tuning dei modelli linguistici di grandi dimensioni (LLM) controllando esplicitamente gli aggiornamenti distribuzionali. Il metodo utilizza un'ancora mobile in evoluzione dinamica che interpola tra il modello corrente e un riferimento congelato, trasformando il fine-tuning globale in aggiornamenti locali di regione di fiducia. Teoricamente, garantisce un limite superiore lineare della divergenza KL per iterazione, assicurando transizioni stabili. L'articolo è pubblicato su arXiv (2605.04468) e si rivolge a scenari di fine-tuning offline.
Fatti principali
- L'Apprendimento Ancorato è un framework per stabilizzare il fine-tuning supervisionato degli LLM.
- Affronta l'oblio catastrofico causato da una deriva distribuzionale eccessiva.
- Il metodo utilizza un'ancora mobile in evoluzione dinamica.
- L'ancora interpola tra il modello corrente e un riferimento congelato.
- Trasforma il fine-tuning globale in aggiornamenti locali di regione di fiducia.
- L'aggiornamento ammette un limite superiore lineare della divergenza KL per iterazione.
- L'articolo è disponibile su arXiv con ID 2605.04468.
- L'approccio è progettato per il fine-tuning offline.
Entità
Istituzioni
- arXiv