Periodic RoPE consente contesto infinito per i LLM
I ricercatori propongono Periodic RoPE (P-RoPE), un meccanismo di codifica posizionale che consente ai modelli linguistici di grandi dimensioni di gestire sequenze di lunghezza illimitata. I modelli basati su RoPE standard degradano quando la lunghezza della sequenza supera l'intervallo pre-addestrato a causa dell'esaurimento della posizione. P-RoPE combina l'attenzione a finestra scorrevole (SWA) per le dipendenze locali con un livello di attenzione globale che non utilizza codifica posizionale (NoPE) per un'interazione illimitata tra sequenze. Impilando questi livelli, il modello evita completamente l'estrapolazione posizionale. L'articolo è pubblicato su arXiv con ID 2605.27980.
Fatti principali
- Periodic RoPE (P-RoPE) è un meccanismo di codifica posizionale per i LLM.
- Affronta l'esaurimento della posizione nel RoPE standard quando la lunghezza della sequenza supera l'intervallo pre-addestrato.
- P-RoPE utilizza l'attenzione a finestra scorrevole (SWA) per le dipendenze locali.
- Un livello di attenzione globale senza codifica posizionale (NoPE) consente un'interazione illimitata.
- Impilare questi livelli evita la necessità di estrapolazione posizionale.
- L'articolo è disponibile su arXiv con ID 2605.27980.
- Il metodo mira a ottenere un contesto veramente infinito per i LLM.
- È progettato per compiti a lungo termine che richiedono contesti ultra-lunghi.
Entità
Istituzioni
- arXiv