GLIDE: Inferenza Efficiente di LLM tramite Attenzione Ibrida Guidata a Livello di Strati

I ricercatori propongono GLIDE, un metodo per ridurre l'I/O di memoria e il sovraccarico computazionale nei Large Language Models durante la decodifica. GLIDE integra l'attenzione softmax a finestra scorrevole con l'aggregazione ricorrente lineare, sfruttando l'eterogeneità a livello di strati: gli strati iniziali sono sensibili alla rimozione del softmax, mentre gli strati più profondi tollerano alternative lineari. Un meccanismo adattivo a livello di strati bilancia l'efficienza della ricorrenza lineare con finestre softmax di dimensione variabile, comprimendo in modo non uniforme l'impronta del softmax. La valutazione empirica mostra una riduzione dell'I/O della cache KV, preservando al contempo la potenza espressiva. L'articolo è disponibile su arXiv.