Decodifica iper-parallela aumenta l'efficienza dei LLM per l'estrazione di valori di attributi

I ricercatori hanno introdotto Hyper-Parallel Decoding (HPD), un nuovo algoritmo che accelera la decodifica offline nei modelli linguistici di grandi dimensioni (LLM) per compiti come l'Estrazione di Valori di Attributi (AVE). Sfruttando l'indipendenza condizionale delle coppie attributo-valore, HPD consente la generazione parallela di più sequenze dallo stesso contesto documentale. Attraverso la manipolazione degli ID di posizione, i token possono essere generati fuori ordine, permettendo fino a 96 token per prompt quando si impilano più documenti. HPD è compatibile con tutti gli LLM e riduce i costi e i tempi di inferenza fino a 13,8 volte. L'articolo è disponibile su arXiv con ID 2604.26209.