BAOC riduce la memoria GPU assegnando ottimizzatori per blocco

Il Configuratore di Ottimizzatori Consapevole del Budget (BAOC) ottimizza l'uso della memoria GPU durante l'addestramento di modelli su larga scala assegnando impostazioni di ottimizzazione appropriate a specifici blocchi di rete entro budget prestabiliti. Diversi blocchi mostrano comportamenti unici del gradiente, come stabilità e anisotropia di scala variabili, che rendono un ottimizzatore universale inefficiente in termini di memoria. BAOC analizza i flussi di gradiente per generare metriche statistiche che valutano i rischi di prestazione associati a configurazioni meno costose, come la bassa precisione o la rimozione del momento. Risolve quindi un problema di allocazione vincolata per minimizzare il rischio complessivo rispettando i vincoli di memoria e tempo, selezionando infine una configurazione conforme al budget per ogni blocco. Esperimenti in compiti di visione, linguaggio e diffusione convalidano l'efficacia di BAOC.