Apprendimento Multi-Task Efficiente in Parametri tramite Prompt Continui Ottimizzati
È stato introdotto un nuovo approccio noto come Apprendimento Multi-Task Efficiente in Parametri (PEML) per la messa a punto simultanea di grandi modelli linguistici (LLM) su vari compiti. Le attuali tecniche PEFT, come LoRA e Prefix Tuning, si concentrano su compiti individuali; LoRA modifica i pesi del modello ma trascura il prompt tuning in scenari multi-task, mentre il design semplice di Prefix Tuning limita la sua adattabilità a più compiti. PEML sfrutta prompt continui ottimizzati per facilitare un efficace fine-tuning multi-task, minimizzando l'uso di risorse fondendo i compiti in un unico modello. Questo metodo soddisfa la crescente necessità di LLM multi-task, che beneficiano di requisiti di dati ridotti grazie alle caratteristiche condivise tra i compiti. La ricerca è disponibile su arXiv con ID 2605.14055.
Fatti principali
- PEML sta per Apprendimento Multi-Task Efficiente in Parametri con Prompt Continui Ottimizzati.
- L'articolo è pubblicato su arXiv con ID 2605.14055.
- I metodi PEFT come LoRA e Prefix Tuning sono progettati per l'adattamento a singolo compito.
- LoRA allinea i pesi del modello ma trascura il prompt tuning nell'apprendimento multi-task.
- Prefix Tuning utilizza un'architettura semplice che limita l'adattamento multi-task.
- PEML introduce prompt continui ottimizzati per il fine-tuning multi-task.
- Il fine-tuning multi-task riduce i requisiti complessivi di dati grazie alle caratteristiche condivise.
- Distribuire un unico modello per più compiti consuma significativamente meno risorse rispetto a modelli individuali.
Entità
Istituzioni
- arXiv