Test di Equivalenza dei Layer Divergono: Sostituzione vs. Scambio nei Transformer

Uno studio recente pubblicato su arXiv (2605.16234) indica che due tecniche prevalenti per valutare l'equivalenza dei layer nelle reti neurali transformer—sostituzione e scambio—possono produrre risultati notevolmente diversi. Il metodo di sostituzione valuta se la mappatura di un layer può sostituire efficacemente un altro nel suo contesto originale, mentre il metodo di scambio verifica se due layer possono essere scambiati senza impatti significativi. I risultati rivelano che per i transformer pre-addestrati, la disparità nei protocolli può alterare il numero di layer considerati sicuri per il pruning di diverse volte sotto gli stessi valutatori, in particolare con alte distanze di sostituzione. Osservazioni attraverso vari checkpoint e architetture, inclusi Pythia 410M e 1.4B, dimostrano che questo divario aumenta dall'inizializzazione alla convergenza. Alla scala 8B, Qwen3-8B entra in uno stato divergente in cui la rimozione guidata dallo scambio è significativamente più sicura dei metodi guidati dalla sostituzione a budget di layer equivalenti, mentre Llama-3.1-8B mostra maggiore coerenza tra i due approcci.