Potatura della profondità nei LLM: gli obiettivi di calibrazione contano più degli algoritmi di ricerca

Una recente indagine contesta la convinzione che la ridondanza nei layer dei grandi modelli linguistici sia una caratteristica essenziale della loro struttura. I ricercatori adottano un punto di vista funzionale, suggerendo che sia il modello che l'obiettivo di valutazione modellano congiuntamente questa ridondanza. Il loro studio empirico, che abbraccia tre famiglie di LLM, due obiettivi di calibrazione e sette algoritmi di ricerca, rivela che obiettivi diversi portano a tipi distinti di layer ridondanti. Le classifiche basate su perplexity e accuratezza downstream non corrispondono in modo coerente. Quando viene fissato un obiettivo specifico, gli algoritmi di ricerca tendono a produrre risultati comparabili. In particolare, l'obiettivo di calibrazione può avere un impatto maggiore rispetto alla scelta dell'algoritmo di ricerca. Questa ricerca è disponibile su arXiv con ID 2604.24938.