Incorporamenti Dizionario Adattivi Scalano le Rappresentazioni Multi-Ancora ai LLM
I ricercatori introducono gli Incorporamenti Dizionario Adattivi (ADE), un framework che scala le rappresentazioni multi-ancora delle parole ai grandi modelli linguistici. Gli incorporamenti tradizionali usano un singolo vettore per parola, creando colli di bottiglia per le parole polisemiche. ADE supera questo problema con tre contributi: Proiezione del Vocabolario (VP) trasforma la ricerca in due fasi delle ancore in un'unica operazione matriciale; Codifica Posizionale di Gruppo (GPE) condivide le informazioni posizionali tra le ancore della stessa parola; e un terzo contributo senza nome. Il metodo è dettagliato nell'articolo arXiv 2604.24940, dimostrando un'integrazione di successo con le moderne architetture transformer.
Fatti principali
- ADE scala le rappresentazioni multi-ancora delle parole ai grandi modelli linguistici.
- Gli incorporamenti tradizionali usano un singolo vettore per parola, limitando l'espressività semantica.
- La Proiezione del Vocabolario (VP) riduce la ricerca delle ancore a un'unica operazione matriciale.
- La Codifica Posizionale di Gruppo (GPE) condivide le informazioni posizionali tra le ancore della stessa parola.
- L'articolo è pubblicato su arXiv con ID 2604.24940.
- ADE affronta l'inefficienza computazionale degli approcci multi-ancora precedenti.
- Il framework si integra con le moderne architetture transformer.
- Le rappresentazioni multi-ancora rappresentano le parole come combinazioni di più vettori.
Entità
Istituzioni
- arXiv