La modifica multi-blocco migliora i modelli linguistici a diffusione discreta
Per affrontare il problema del confine di blocco nei modelli linguistici a diffusione a blocchi, i ricercatori hanno introdotto la modifica multi-blocco (MBE). La diffusione a blocchi è l'approccio principale per migliorare i modelli linguistici a diffusione discreta (dLLM), consentendo la decodifica del testo in segmenti di dimensione fissa, facilitando la generazione parallela e costi di attenzione gestibili. Tuttavia, i token posizionati ai bordi dei blocchi perdono il contesto futuro tra blocchi, e i blocchi completati creano un contesto irreversibile che può portare a incertezza. MBE presenta un algoritmo di decodifica che non richiede addestramento, consentendo la modifica dei token precedentemente decodificati utilizzando il contesto tra blocchi per ridurre l'accumulo di errori. Questa tecnica è stata validata in arXiv:2607.22663.
Fatti principali
- 1. La diffusione a blocchi è il paradigma dominante per scalare i modelli linguistici a diffusione discreta (dLLM).
- 2. Decodificare il testo in blocchi di dimensione fissa preserva la generazione parallela all'interno di ciascun blocco.
- 3. Il costo di attenzione quadratico rimane gestibile con la diffusione a blocchi.
- 4. I token vicino ai confini del blocco vengono generati senza accesso al contesto futuro tra blocchi.
- 5. Una volta finalizzato un blocco, le sue previsioni incerte diventano contesto irreversibile per i blocchi successivi.
- 6. Ciò crea un problema di confine di blocco in cui l'incertezza si accumula verso i confini del blocco.
- 7. La modifica multi-blocco (MBE) mitiga questo problema modificando i token decodificati in base al contesto tra blocchi.
- 8. MBE propone un algoritmo di decodifica senza addestramento per modificare i token nei blocchi precedenti.
Entità
Istituzioni
- arXiv