FBLayout: Ottimizzazione del Fine-Tuning di LLM su GPU Mobili con un Framework Consapevole del Layout
Un nuovo framework chiamato FBLayout mira a rendere efficiente il fine-tuning dei grandi modelli linguistici (LLM) su GPU mobili. L'approccio affronta i vincoli di memoria e l'overhead di trasformazione del layout nei meccanismi di attenzione durante l'addestramento. FBLayout introduce un layout R-Tile unificato per riduzioni multidimensionali e una trasformazione dell'indice basata su tile per eliminare il movimento fisico dei dati. Questo lavoro è pubblicato su arXiv (2607.21624) e mira alla personalizzazione on-device preservando la privacy.
Fatti principali
- FBLayout è un framework consapevole del layout per il fine-tuning su GPU mobili.
- Affronta i vincoli di memoria e l'overhead di trasformazione del layout.
- Introduce un layout R-Tile unificato per i passaggi forward e backward.
- Utilizza la trasformazione dell'indice basata su tile per eliminare il movimento dei dati.
- Pubblicato su arXiv con ID 2607.21624.
- Mira al fine-tuning on-device di modelli transformer.
- Obiettivo: abilitare un'AI personalizzata che preservi la privacy.
- Si concentra su piattaforme GPU mobili.
Entità
—