MP-ISMoE: Framework a Precisione Mista per un Apprendimento per Trasferimento Efficiente
È stato introdotto un nuovo framework di apprendimento automatico chiamato MP-ISMoE (Mixed-Precision Interactive Side Mixture-of-Experts) per affrontare le sfide di memoria e prestazioni nell'apprendimento per trasferimento efficiente in termini di parametri. Questo metodo impiega una tecnica di quantizzazione iterativa perturbata da rumore gaussiano (GNP-IQ) per convertire i pesi in rappresentazioni a bit inferiori, minimizzando efficacemente gli errori di quantizzazione. La memoria risparmiata attraverso questo processo viene reindirizzata per potenziare le capacità di apprendimento delle reti laterali. Questa strategia mira a migliorare l'efficienza mantenendo le prestazioni, specificamente per compiti downstream in modelli di base pre-addestrati. La ricerca è accessibile su arXiv con l'ID 2605.04058.
Fatti principali
- 1. MP-ISMoE sta per Mixed-Precision Interactive Side Mixture-of-Experts.
- 2. Il framework include uno schema di quantizzazione iterativa perturbata da rumore gaussiano (GNP-IQ).
- 3. GNP-IQ quantizza i pesi in bit inferiori per ridurre l'uso di memoria.
- 4. La memoria risparmiata da GNP-IQ viene utilizzata per migliorare la capacità di apprendimento della rete laterale.
- 5. Il metodo si rivolge all'apprendimento per trasferimento efficiente in termini di parametri (PETL) e all'apprendimento per trasferimento efficiente in termini di memoria (METL).
- 6. L'articolo è disponibile su arXiv con ID 2605.04058.
- 7. L'approccio affronta il sovraccarico di memoria dovuto alla retropropagazione del gradiente.
- 8. Il framework mira a bilanciare efficienza di memoria e prestazioni.
Entità
Istituzioni
- arXiv