AFD-Ledger: Provisioning Analitico per la Disaggregazione Attention-FFN
AFD-Ledger è un sistema di provisioning analitico che opera offline, volto a determinare se la Disaggregazione Attention-Feed-Forward Network (FFN) (AFD) raggiunge una maggiore produttività rispetto alle configurazioni collocate per i modelli linguistici Mixture-of-Experts (MoE). Questo sistema provvede autonomamente alle configurazioni AFD e collocate utilizzando un modello di esecuzione analitico insieme a una ricerca hardware limitata dalla valutazione. Ottimizzando congiuntamente l'allocazione hardware e la struttura di distribuzione, evita gli alti costi associati al provisioning esaustivo. L'articolo, disponibile su arXiv (2608.04502), esplora una domanda precedentemente senza risposta riguardo ai sistemi AFD: AFD supera le prestazioni della migliore distribuzione collocata in condizioni identiche? Il framework analitico di AFD-Ledger consente confronti efficaci in scenari di distribuzione in cui il provisioning esaustivo è praticabile, rendendolo significativo per il campo della tecnologia AI focalizzato sul miglioramento dei servizi di modelli linguistici di grandi dimensioni.
Fatti principali
- AFD-Ledger è un sistema di provisioning analitico offline.
- Confronta AFD (Disaggregazione Attention-FFN) con distribuzioni collocate.
- Si rivolge a modelli linguistici Mixture-of-Experts (MoE).
- Utilizza un modello di esecuzione analitico e una ricerca hardware limitata dalla valutazione.
- Ottimizza congiuntamente l'assegnazione hardware e l'organizzazione della distribuzione.
- Affronta una questione di distribuzione: AFD fornisce una maggiore produttività nelle stesse condizioni?
- Articolo disponibile su arXiv con ID 2608.04502.
- Evita il provisioning esaustivo utilizzando metodi analitici.
Entità
Istituzioni
- arXiv