MACRO: Routing a Catena di Markov per l'Esecuzione Efficiente dei Layer dei Transformer

È stato introdotto un nuovo framework chiamato MACRO (Markov Chain Routing of Transformer Layers) per migliorare le prestazioni dei Large Language Models (LLM) attraverso il routing dinamico dei layer. A differenza dei LLM tradizionali che elaborano i layer in modo lineare, MACRO consente l'apprendimento di percorsi specifici per compito senza alterare i parametri del modello. Concettualizza il routing dei layer come una politica di Markov sensibile al contesto, influenzata dagli indici dei layer, dalle fasi del budget computazionale, dai cambi di direzione e dal contesto dell'operatore, facilitando operazioni come skip, repeat e addizione residua degli stati nascosti. La distribuzione del percorso di Markov viene raffinata utilizzando il feedback dei dati di addestramento e decodificata con un algoritmo Viterbi top-k per individuare percorsi ad alta probabilità. Questo metodo mira a migliorare l'efficienza senza richiedere aggiornamenti dei pesi, costosi cicli di ricerca per istanza o etichette di verità di base durante l'inferenza. La ricerca è disponibile su arXiv con l'identificatore 2608.05872.