MDLMPE: Nuova codifica posizionale per modelli linguistici a diffusione mascherata
Uno studio recente pubblicato su arXiv (ID: 2608.03769) presenta MDLMPE, una nuova tecnica di codifica posizionale su misura per modelli linguistici a diffusione mascherata (MDLM). A differenza dei modelli autoregressivi (AR), che rivelano un prefisso continuo durante la decodifica, il denoising MDLM genera disposizioni variabili e non contigue di token visibili e nascosti. Le codifiche posizionali tradizionali, come RoPE, catturano efficacemente l'ordine delle sequenze e le differenze a coppie, ma non riescono ad adattarsi alla mutevole disponibilità dei token. MDLMPE si distingue come il primo approccio a incorporare la consapevolezza di questa configurazione in evoluzione nelle rappresentazioni posizionali. Utilizza una sequenza binaria per denotare la disponibilità dei token, impiega una ponderazione gaussiana sensibile alla distanza e trasforma il pattern risultante tramite una base coseno per una rappresentazione posizionale sensibile alla distribuzione. L'articolo completo è accessibile all'indirizzo https://arxiv.org/abs/2608.03769.
Fatti principali
- MDLMPE è una nuova codifica posizionale per modelli linguistici a diffusione mascherata.
- È il primo metodo a rendere le rappresentazioni posizionali esplicitamente consapevoli della configurazione rivelata/mascherata.
- MDLMPE rappresenta la disponibilità dei token come una sequenza binaria.
- Applica una ponderazione gaussiana sensibile alla distanza.
- Proietta il pattern attraverso una base coseno.
- Le codifiche convenzionali come RoPE sono insensibili alla struttura di disponibilità dei token.
- L'articolo è su arXiv con ID 2608.03769.
- Gli MDLM consentono la generazione parallela e la modellazione del contesto bidirezionale.
Entità
Istituzioni
- arXiv