Post-Norm Supera Pre-Norm nella Crescita Progressiva della Profondità per LLM

Un nuovo studio da arXiv (2608.13156) mette in discussione la preferenza convenzionale per la pre-normalizzazione (pre-norm) nelle architetture Transformer, in particolare quando i modelli vengono addestrati tramite crescita progressiva della profondità. La ricerca, che utilizza un insegnante Qwen3-8B e un modello studente a nove strati, scopre che mentre pre-norm e post-norm si comportano quasi identicamente sotto addestramento congiunto (differendo di solo 0.0004 nella cross-entropia di validazione), post-norm mostra un vantaggio significativo sotto crescita progressiva, migliorando di 0.0328 rispetto a pre-norm—una differenza di un ordine di grandezza maggiore. Lo studio include anche un controllo post-congiunto abbinato per token dei livelli attivi dello studente, che rimane peggiore rispetto a post-crescita, escludendo il calcolo come unica spiegazione per il miglioramento. Gli autori suggeriscono che il posizionamento della normalizzazione interagisce con il curriculum di addestramento, e che post-norm potrebbe essere più efficace quando la profondità viene introdotta progressivamente. I risultati hanno implicazioni per la progettazione di modelli linguistici di grandi dimensioni, potenzialmente influenzando le future strategie di addestramento. L'articolo è disponibile su arXiv con l'identificatore 2608.13156.