La Fase Silenziosa del Potatura dei Layer Provoca il Collasso delle Prestazioni dei LLM

Un nuovo preprint su arXiv (2605.07271) indaga perché la potatura dei layer nei modelli linguistici di grandi dimensioni (LLM) provoca un improvviso collasso delle prestazioni. Gli autori propongono di studiare la potatura attraverso la rappresentazione delle decisioni, introducendo le metriche di Margine Decisionale e Frequenza delle Opzioni insieme a un metodo di Potatura Iterativa. Analizzando compiti a scelta multipla, scoprono una brusca transizione decisionale che divide la rete in una Fase Silenziosa (incapace di prevedere la risposta corretta) e una Fase Decisiva (emerge la previsione corretta). Potare la Fase Decisiva ha un effetto minimo, ma potare la Fase Silenziosa innesca un collasso immediato, indicando un'estrema sensibilità ai cambiamenti strutturali. L'articolo conclude che il collasso indotto dalla potatura deriva dall'interruzione della Fase Silenziosa.