REPR-ALIGN: Allineamento di modelli linguistici autoregressivi e diffusivi
Un nuovo metodo chiamato REPR-ALIGN consente di convertire modelli linguistici autoregressivi in modelli linguistici diffusivi preservando la geometria delle rappresentazioni apprese, evitando un riaddestramento completo.
Fatti principali
- REPR-ALIGN è un obiettivo di allineamento delle rappresentazioni
- Adatta modelli linguistici autoregressivi a modelli linguistici diffusivi
- Il metodo preserva la geometria delle rappresentazioni interne dalla predizione del token successivo
- Considera l'addestramento del DLM come riapprendimento del percorso di decodifica, non delle rappresentazioni linguistiche
- Pubblicato su arXiv con ID 2605.06885
- Tipo di annuncio: cross
Entità
Istituzioni
- arXiv