Il Potatura dei Layer Non Preserva il Ragionamento Generativo nei LLM

Un recente articolo su arXiv (2602.01997v4) indaga l'impatto della potatura dei layer sui modelli linguistici di grandi dimensioni (LLM), rivelando che mentre i benchmark di classificazione si riprendono bene, i compiti di ragionamento generativo ne risentono. Lo studio, condotto in condizioni realistiche di post-addestramento con una singola GPU da 80GB e senza dati su scala di pre-addestramento, mostra che una semplice strategia di fine-tuning supervisionato con risposte auto-generate recupera fino al 90% delle prestazioni di base sulla classificazione, ma il recupero del ragionamento generativo rimane limitato. Gli autori dimostrano che la potatura porta a una perdita di capacità algoritmiche chiave, come il calcolo aritmetico e la generazione di parentesi bilanciate, oltre al degrado testuale superficiale. Questo divario persiste anche con un recupero allineato al compito, indicando limitazioni fondamentali della potatura dei layer per il ragionamento generativo. L'articolo è disponibile su arXiv con l'identificatore 2602.01997.