TraceLock: Apprendimento dell'Impegno sui Token per Modelli Linguistici a Diffusione
Un nuovo articolo su arXiv introduce TraceLock, un controller plug-in leggero che apprende una politica di impegno sui token per modelli linguistici a diffusione. I modelli linguistici a diffusione generano testo raffinando simultaneamente più posizioni di token, ma decidere quali token proposti accettare a ogni passo—definito impegno sui token—è un problema di controllo nascosto. I metodi esistenti si basano su regole di confidenza progettate a mano o filtri specifici per blocco. TraceLock tratta l'impegno sui token come una politica di stato traccia apprendibile, utilizzando l'auto-supervisione dalla stabilità futura: un token proposto è etichettato come stabile se corrisponde al token finale dopo la decodifica completa. Il controller valuta stati traccia di lunghezza variabile per prendere decisioni di impegno. L'articolo è scritto da ricercatori e pubblicato su arXiv con ID 2605.24697.
Fatti principali
- TraceLock è un controller plug-in per modelli linguistici a diffusione congelati.
- L'impegno sui token decide quali token proposti trasferire nella sequenza parzialmente decodificata.
- I metodi esistenti usano regole di confidenza progettate a mano o filtri di accettazione specifici per blocco.
- TraceLock apprende l'impegno sui token come una politica di stato traccia riutilizzabile.
- L'auto-supervisione deriva dalla stabilità futura: un token è stabile se corrisponde al token finale dopo la decodifica completa.
- Il controller valuta stati traccia di lunghezza variabile a ogni passo di decodifica.
- L'articolo è disponibile su arXiv con ID 2605.24697.
- Il lavoro affronta un problema di controllo nella decodifica parallela dei modelli linguistici a diffusione.
Entità
Istituzioni
- arXiv