Legge di Scaling Neurale Unificata Prevede le Prestazioni del Deep Learning su Diversi Compiti
Un recente articolo su arXiv introduce una Legge di Scaling Neurale Unificata (UNSL) che cattura e prevede le dinamiche di scaling delle reti neurali profonde su molteplici dimensioni, come parametri del modello, dimensione del dataset, passi di training e inferenza, potenza di calcolo e iperparametri. Questo modello funzionale è applicabile a vari compiti e architetture in campi come visione, linguaggio, matematica e apprendimento per rinforzo. Secondo gli autori, UNSL fornisce estrapolazioni significativamente più precise rispetto alle attuali leggi di scaling. L'articolo rientra nella categoria Computer Science > Machine Learning e include codice, dati e media associati. Inoltre, questa sottomissione arXiv fa parte dell'iniziativa arXivLabs, che promuove la collaborazione comunitaria e l'apertura.
Fatti principali
- L'articolo introduce una Legge di Scaling Neurale Unificata (UNSL).
- UNSL modella lo scaling mentre più dimensioni variano simultaneamente.
- Le dimensioni includono parametri del modello, dimensione del dataset, passi di training, passi di inferenza, potenza di calcolo e iperparametri.
- La legge si applica a compiti di visione, linguaggio, matematica e apprendimento per rinforzo.
- UNSL produce estrapolazioni più accurate rispetto ad altre forme funzionali.
- L'articolo è su arXiv sotto Computer Science > Machine Learning.
- Codice, dati e media sono associati all'articolo.
- La sottomissione fa parte di arXivLabs, che valorizza l'apertura e la comunità.
Entità
Istituzioni
- arXiv
- arXivLabs