TRAM: Ottimizzazione Congiunta di Moltiplicatori Approssimati e Modelli di IA per Acceleratori a Basso Consumo
TRAM (Training Approximate Multiplier Structures) è un nuovo metodo che ottimizza congiuntamente l'architettura dei moltiplicatori approssimati (AxM) e i parametri del modello di IA per ridurre il consumo energetico negli acceleratori di IA. A differenza degli approcci precedenti che progettano gli AxM separatamente dall'addestramento, TRAM integra il processo di ottimizzazione, ottenendo fino al 25,05% di riduzione di potenza sulle CNN con CIFAR-10 e fino al 27,09% sui vision transformer con ImageNet rispetto agli AxM allo stato dell'arte. L'articolo è pubblicato su arXiv nelle sezioni di informatica e machine learning.
Fatti principali
- TRAM ottimizza congiuntamente la struttura degli AxM e i parametri del modello di IA.
- Ottiene fino al 25,05% di riduzione di potenza sulle CNN con CIFAR-10.
- Ottiene fino al 27,09% di riduzione di potenza sui vision transformer con ImageNet.
- Pubblicato su arXiv.
- Si concentra su acceleratori di IA a basso consumo.
- Il calcolo approssimato riduce la potenza con una minima perdita di precisione.
- I moltiplicatori sono componenti ad alto consumo energetico nei modelli di IA.
- TRAM supera gli AxM allo stato dell'arte.
Entità
Istituzioni
- arXiv