CURE: Nuovo Metodo per Migliorare la Decodifica Speculativa nei LLM

Un recente articolo su arXiv (2608.00531) presenta CURE, un albero di riparazione dinamico progettato per la decodifica speculativa a blocchi paralleli, attento al budget, nei modelli di linguaggio di grandi dimensioni (LLM) autoregressivi. Questa tecnica affronta la sfida della significativa perdita di accuratezza su sequenze estese nei sistemi di drafting parallelo, che comporta tassi di rifiuto elevati e miglioramenti di velocità non ottimali. I ricercatori notano che gli errori di drafting sono concentrati attorno a specifici token ad alta incertezza che interrompono la generazione successiva. CURE identifica questi token soggetti a errori utilizzando margini di confidenza predittivi, espande selettivamente i percorsi di riparazione in questi punti vulnerabili e implementa un approccio attento al budget per minimizzare i costosi processi di verifica dell'albero. L'abstract evidenzia la motivazione e la metodologia, con l'obiettivo di migliorare gli speedup wall-clock affrontando gli errori nelle aree critiche di incertezza senza incorrere in elevate spese computazionali.