Nuova strategia di uscita anticipata bidimensionale accelera l'inferenza dei LLM per compiti di classificazione

Una nuova tecnica di uscita anticipata bidimensionale per i grandi modelli linguistici integra uscite a livello di strato e a livello di frase per ottenere una significativa efficienza computazionale. Questa strategia elabora l'input in modo incrementale, analizzando ogni frase mentre attiva progressivamente strati più profondi, superando le ottimizzazioni che si concentrano su una sola dimensione. I test su quattro LLM leader—Llama 3.1, Llama 3.2, Gemma e Qwen, che hanno parametri tra 3B e 8B—hanno mostrato miglioramenti di velocità compresi tra 1,4 e 2,3 volte rispetto alle uscite anticipate ottimali a livello di strato su tre dataset di classificazione del sentimento. Il metodo mostra un declino graduale delle prestazioni su compiti multi-classe complessi, e sebbene il fine-tuning riduca i suoi benefici, non li annulla completamente. È indipendente dal modello, richiedendo solo semplici adattatori di classificazione, e si integra con altre tecniche di efficienza come la quantizzazione. Questa strategia è stata dettagliata in un abstract di annuncio incrociato su arXiv, identificato come 2604.18592v1.