Tassi di Apprendimento Guidati dalla Coda Pesante per Livelli nei LLM

Uno studio recente pubblicato su arXiv presenta il Layerwise Learning Rate (LLR), un metodo adattivo innovativo che assegna tassi di apprendimento unici a ciascun livello dei Transformer nei Large Language Models (LLM). Questo approccio si basa sulla teoria dell'Heavy-Tailed Self-Regularization (HT-SR), che analizza la densità spettrale empirica delle matrici di correlazione dei pesi per misurare la pesantezza della coda. Ai livelli che mostrano una minore pesantezza della coda vengono assegnati tassi di apprendimento più elevati per accelerare l'addestramento, mentre quelli con maggiore pesantezza della coda ricevono tassi ridotti. Questa strategia personalizzata favorisce un addestramento bilanciato tra i livelli, risultando in una convergenza più rapida e prestazioni migliorate. La ricerca critica la pratica comune di utilizzare un tasso di apprendimento uniforme per tutti i livelli, che non riconosce la diversità strutturale all'interno dei Transformer.