COMPASS: Apprendimento Continuo Multilingue con PEFT e Campionamento Semantico Adattivo
I ricercatori propongono COMPASS, un framework incentrato sui dati per adattare i grandi modelli linguistici alle lingue target, mitigando al contempo l'interferenza cross-linguistica negativa. Il metodo utilizza il fine-tuning efficiente in termini di parametri (PEFT) con adattatori leggeri specifici per lingua, addestrati su un sottoinsieme selezionato di dati multilingue ausiliari. Una strategia di campionamento consapevole della distribuzione sfrutta embedding multilingue e clustering per identificare lacune semantiche, dando priorità ai dati provenienti da cluster sottorappresentati per massimizzare il trasferimento positivo. Il framework si estende all'apprendimento continuo. L'articolo è disponibile su arXiv con ID 2604.20720.
Fatti principali
- COMPASS sta per Continual Multilingual PEFT with Adaptive Semantic Sampling.
- Il framework affronta le disparità di performance tra le lingue nei LLM.
- Utilizza il fine-tuning efficiente in termini di parametri (PEFT) con adattatori specifici per lingua.
- Una strategia di campionamento consapevole della distribuzione identifica lacune semantiche usando embedding multilingue e clustering.
- Il metodo dà priorità ai dati ausiliari provenienti da cluster semantici sottorappresentati.
- COMPASS si estende in un framework di apprendimento continuo.
- L'articolo è pubblicato su arXiv con ID 2604.20720.
- L'approccio mira a massimizzare il trasferimento cross-linguistico positivo minimizzando l'interferenza.
Entità
Istituzioni
- arXiv