DSpark di DeepSeek accelera l'inferenza AI dell'85%, riducendo il carico sui chip

La startup cinese di intelligenza artificiale DeepSeek ha presentato DSpark, un framework di decodifica speculativa che accelera l'inferenza AI fino all'85%, affrontando i colli di bottiglia nel servire modelli di grandi dimensioni. Il framework utilizza un modello leggero di bozza per proporre risposte candidate, che vengono poi verificate in batch da un modello più grande, riducendo i ritardi token per token che portano a un basso utilizzo della GPU e a lunghi tempi di attesa per gli utenti. DSpark impiega anche un metodo di generazione semi-autoregressivo per produrre piccoli blocchi di token anziché singoli token, e un sistema di scheduling basato sulla confidenza che regola dinamicamente la verifica in base alla domanda di calcolo. L'annuncio arriva mentre la Cina spinge per superare le restrizioni statunitensi sui chip avanzati per l'AI. DeepSeek ha pubblicato la ricerca sabato.