SNAC-Pack: Framework Open-Source per il Codesign di Architetture Neurali Consapevole dell'Hardware su FPGA
Il Surrogate Neural Architecture Codesign Package (SNAC-Pack) è un framework AutoML open-source progettato per il codesign di architetture neurali consapevole dell'hardware e la distribuzione completa su FPGA. Colma una lacuna critica andando oltre gli approcci NAS esistenti che si concentrano esclusivamente sull'accuratezza o si basano su metriche proxy come le operazioni bit (BOP), che spesso riflettono scarsamente i costi hardware. Ciò è particolarmente rilevante per la distribuzione su FPGA, dove i costi sono influenzati da un budget complesso che coinvolge lookup table, DSP, flip-flop, BRAM e latenza. Utilizzando Optuna e NSGA-II, SNAC-Pack esegue una ricerca globale multi-obiettivo, memorizzando i trial in un database SQLite condiviso per facilitare l'elaborazione parallela tra nodi di calcolo. Un modello surrogato hardware stima le risorse e la latenza per ogni trial, eliminando così gli alti costi associati alla sintesi durante il processo di ricerca. Infine, una fase di ricerca locale incorpora l'addestramento consapevole della quantizzazione e il fine-tuning, consentendo una progettazione automatica del modello che rispetta i limiti hardware effettivi.
Fatti principali
- SNAC-Pack è un framework AutoML open-source per il codesign di architetture neurali consapevole dell'hardware e la distribuzione su FPGA.
- Affronta la lacuna per cui i metodi NAS ottimizzano solo l'accuratezza o si basano su metriche proxy come i BOP che correlano scarsamente con il costo hardware.
- Il costo di distribuzione su FPGA è dominato da lookup table, DSP, flip-flop, BRAM e latenza.
- SNAC-Pack esegue una ricerca globale multi-obiettivo con Optuna e NSGA-II.
- I trial vengono caricati in un archivio SQLite condiviso che consente lavoratori paralleli su nodi di calcolo.
- Un modello surrogato hardware fornisce stime di risorse e latenza per ogni trial.
- La fase di ricerca locale applica addestramento consapevole della quantizzazione e fine-tuning.
- Il framework è pubblicato su arXiv con ID 2605.16138.
Entità
Istituzioni
- arXiv