La potatura non strutturata migliora il test-time scaling dei LLM
Un nuovo studio mette in discussione l'assunto che la potatura degradi il ragionamento nei grandi modelli linguistici (LLM). Mentre la potatura strutturata, che rimuove interi blocchi di layer, è stata precedentemente dimostrata dannosa per le prestazioni di test-time scaling (TTS), i ricercatori di arXiv hanno scoperto che la potatura non strutturata, che rimuove solo pesi ridondanti o dannosi, può effettivamente migliorare il TTS. Esperimenti su due LLM di ragionamento (s1.1-7B e Qwen3-8B) su quattro benchmark hanno mostrato che la potatura non strutturata supera costantemente quella strutturata e talvolta supera anche i modelli non potati con pesi completi. I risultati suggeriscono che una rimozione attenta dei pesi può migliorare l'efficienza senza sacrificare la capacità di ragionamento.
Fatti principali
- 1. Lo studio riesamina la potatura dei LLM per il test-time scaling.
- 2. La potatura strutturata degrada le prestazioni TTS nei LLM di ragionamento.
- 3. La potatura non strutturata rimuove solo pesi ridondanti o dannosi.
- 4. Esperimenti condotti sui modelli s1.1-7B e Qwen3-8B.
- 5. Sono stati utilizzati quattro benchmark di ragionamento.
- 6. La potatura non strutturata ha superato quella strutturata.
- 7. La potatura non strutturata talvolta supera i modelli non potati con pesi completi.
- 8. Pubblicato su arXiv con ID 2604.25098.
Entità
Istituzioni
- arXiv