Allocatore GPU sensibile ai vincoli aumenta l'utilizzo di 33 punti percentuali

Dharma AI ha sviluppato un allocatore GPU sensibile ai vincoli che migliora significativamente l'utilizzo della GPU e l'output ponderato per priorità rispetto a uno scheduler FIFO. Nei test di benchmark su sette scenari, l'allocatore ha aumentato l'utilizzo della GPU fino a 33 punti percentuali e l'output ponderato per priorità fino al 105%, con un miglioramento medio del 52%. L'allocatore tratta la domanda di inferenza in tempo reale come una curva dinamica piuttosto che come una prenotazione statica, consentendo ai job batch di utilizzare le GPU durante i periodi di bassa domanda. Inoltre, posiziona i job batch per priorità lungo l'intero orizzonte di pianificazione, anziché in ordine di arrivo. Il sistema utilizza un modello formale con cinque vincoli e una funzione obiettivo a due termini, bilanciando i premi batch contro le penalità in tempo reale. Funziona in 1-2 millisecondi su scenari contesi e 15 millisecondi per 64 GPU e 30 job. L'allocatore è completato da previsori specializzati per training, quantizzazione e inferenza in tempo reale, che migliorano le previsioni della domanda. Lo scheduler ottimizza un orizzonte di 24 ore ma impegna solo il timestep corrente, ripetendo ogni 30-60 minuti per assorbire gli errori di previsione. Questo approccio, ispirato alla disciplina operativa delle compagnie aeree, dimostra che struttura e ordinamento possono produrre guadagni significativi senza modifiche hardware.