SymNoise potenzia LLaMA-2-7B al 69% su AlpacaEval
Un nuovo articolo su arXiv (2605.23171) introduce SymNoise, un metodo di fine-tuning che utilizza rumore simmetrico negli embedding per migliorare le prestazioni dei modelli linguistici. Gli autori forniscono un'analisi teorica ed empirica che mostra come i tipi di rumore uniforme, gaussiano e simmetrico abbiano prestazioni comparabili, sfidando l'affermazione di NEFTune secondo cui il rumore uniforme è superiore. Quando si esegue il fine-tuning di LLaMA-2-7B su Alpaca, SymNoise raggiunge il 69,04% su AlpacaEval, rispetto al 29,79% con tecniche standard e al benchmark di NEFTune. Il metodo regola la curvatura locale in modo più rigoroso, migliorando la funzione del modello.
Fatti principali
- L'articolo arXiv:2605.23171 introduce SymNoise
- SymNoise utilizza rumore simmetrico negli embedding
- LLaMA-2-7B con fine-tuning su Alpaca raggiunge il 69,04% su AlpacaEval
- Le tecniche standard ottengono il 29,79% su AlpacaEval
- NEFTune aveva precedentemente stabilito benchmark con rumore uniforme
- Gli autori mostrano che i rumori uniforme, gaussiano e simmetrico hanno prestazioni comparabili
- Il metodo regola la curvatura locale in modo più rigoroso
- L'articolo fornisce analisi teorica ed empirica
Entità
Istituzioni
- arXiv