LEAP: Metodo senza addestramento potenzia la decodifica parallela nei modelli linguistici diffusivi

È stato introdotto un nuovo metodo chiamato LEAP (Lookahead Early-Convergence Token Detection for Accelerated Parallel Decoding) per migliorare le capacità di elaborazione parallela dei modelli linguistici diffusivi (dLLM). Gli attuali dLLM si basano su ipotesi di indipendenza condizionale con soglie di confidenza elevate per mantenere l'accuratezza, ma queste soglie sono eccessivamente conservative, limitando la scalabilità. Attraverso un'analisi statistica a livello di token, i ricercatori hanno scoperto che molti token convergono a previsioni corrette all'inizio del processo di denoising senza soddisfare i criteri standard di confidenza. LEAP è una tecnica plug-and-play senza addestramento che utilizza il filtraggio del contesto futuro per rilevare questi token a convergenza anticipata, consentendo una decodifica parallela più efficiente senza sacrificare l'accuratezza. Il metodo è stato dettagliato in un articolo pubblicato su arXiv (ID: 2605.10980).