Il Fine-Tuning Iterativo Risulta Prevalentemente Idempotente in un Nuovo Studio
Uno studio recente pubblicato su arXiv indaga l'impatto del fine-tuning dei modelli linguistici utilizzando i propri output generati. I ricercatori hanno valutato molteplici modelli, ciascuno successivo raffinato con i dati di output del precedente, basati su un set di caratteri iniziale. Hanno sperimentato tre tecniche: supervised fine-tuning (SFT) per modelli basati su istruzioni, synthetic document fine-tuning (SDF) per modelli fondamentali e direct preference optimization (DPO). I risultati hanno indicato che mentre SFT e SDF generalmente mantenevano o diminuivano tratti specifici del modello, il DPO migliorava costantemente questi tratti a meno che i modelli non venissero resettati, evidenziando il DPO come eccezione negli effetti del fine-tuning iterativo.
Fatti principali
- Il paper arXiv 2605.01130 esamina gli effetti del fine-tuning iterativo sul comportamento del modello.
- Il supervised fine-tuning (SFT) su modelli instruct ha mostrato decadimento o costanza dei tratti.
- Il synthetic document fine-tuning (SDF) su modelli base ha mostrato anch'esso decadimento o costanza.
- La direct preference optimization (DPO) poteva amplificare in modo affidabile i tratti sotto addestramento continuo.
- L'amplificazione dei tratti nel DPO scompariva quando i modelli venivano reinizializzati a ogni ciclo.
- La rara amplificazione in SFT/SDF avveniva a scapito della coerenza.
- Il modello iniziale era seminato con una persona o una convinzione.
- Lo studio conclude che il fine-tuning iterativo è prevalentemente idempotente.
Entità
Istituzioni
- arXiv