PRESTO: Bozza ad Albero per Decodifica Speculativa Diffusiva
Un nuovo metodo chiamato PRESTO (Prefix-Aligned Tree Drafting) migliora la decodifica speculativa per i modelli linguistici di grandi dimensioni basati su diffusione (dLLM). A differenza dei modelli autoregressivi, i dLLM generano token in parallelo, rendendoli modelli di bozza efficienti. Tuttavia, l'attuale bozza basata su diffusione utilizza una bozza lineare, che limita la lunghezza di accettazione a causa dello spazio combinatorio dei token candidati. PRESTO applica la bozza ad albero per esplorare molteplici percorsi candidati, ma la bozza ad albero ingenua è subottimale perché le marginali di diffusione sono cieche al prefisso, non corrispondendo alla verifica autoregressiva basata su prefisso. PRESTO introduce un quadro teorico che allinea la bozza ad albero con la verifica del prefisso, migliorando l'efficienza della decodifica. L'articolo è pubblicato su arXiv con ID 2607.22634.
Fatti principali
- PRESTO estende la bozza ad albero ai bozzatori diffusivi per la decodifica speculativa.
- I LLM diffusivi generano token in parallelo, a differenza dei modelli autoregressivi.
- I metodi di bozza diffusiva esistenti utilizzano la bozza lineare, limitando l'efficienza.
- La bozza ad albero ingenua è subottimale a causa delle marginali di diffusione cieche al prefisso.
- PRESTO allinea la bozza ad albero con la verifica AR basata su prefisso.
- Il metodo mira a migliorare la lunghezza di accettazione e l'efficienza della decodifica.
- L'articolo è disponibile su arXiv con ID 2607.22634.
- PRESTO sta per Prefix-Aligned Tree Drafting.
Entità
Istituzioni
- arXiv