TriSP: Potatura Strutturata Efficiente per Grandi Modelli Linguistici

Una nuova metrica di importanza per la potatura strutturata dei grandi modelli linguistici (LLM), denominata TriSP (Tri-Signal Structured Pruning), è stata introdotta dai ricercatori. Questa tecnica si concentra sull'eliminazione di interi componenti, come le teste di attenzione e i neuroni MLP, per sviluppare modelli più compatti ed efficienti. I metodi attuali si basano su stime basate sul gradiente che richiedono molta memoria o su proxy basati sull'attivazione che non riescono a valutare direttamente l'impatto sulla perdita. TriSP combina innovativamente la magnitudine dei pesi, aggiustata dalla norma di attivazione, con la sensibilità del gradiente del primo ordine attraverso una media geometrica, ottenendo un punteggio a livello di canale. Questo metodo esamina a fondo l'interazione tra i criteri di importanza e le strategie di recupero post-potatura. L'articolo completo è accessibile su arXiv.