LoRP: Potatura della Profondità Senza Addestramento per LLM tramite Località della Rappresentazione
Un nuovo framework chiamato Locality-Aware Redundancy Pruning (LoRP) è stato introdotto dai ricercatori per la potatura della profondità nei grandi modelli linguistici senza necessità di addestramento. LoRP utilizza un Representation Locality Score (RLS), basato sulla similarità degli stati nascosti tra i livelli, per determinare se la ridondanza è localizzata o diffusa. Utilizzando un set di calibrazione minimo, valuta la similarità a coppie tra i livelli, li organizza in cluster ed elimina la ridondanza all'interno di tali cluster. Esperimenti condotti su varie famiglie di LLM indicano miglioramenti nella perplexity.
Fatti principali
- 1. arXiv:2605.27786v1
- 2. LoRP è senza addestramento e one-shot
- 3. RLS misura la località della rappresentazione
- 4. Utilizza un piccolo set di calibrazione
- 5. Raggruppa i livelli per similarità
- 6. Potatura basata sulla ridondanza intra-cluster
- 7. Testato su diverse famiglie di LLM
- 8. Migliora la perplexity
Entità
Istituzioni
- arXiv