Le aziende cinesi di IA lottano con la carenza di chip mentre la domanda di inferenza aumenta

Le aziende cinesi di intelligenza artificiale stanno affrontando significative limitazioni computazionali mentre passano dallo sviluppo di modelli all'implementazione su larga scala. I chip domestici sono inadeguati per compiti complessi come la programmazione. Sebbene siano stati fatti sforzi per ottimizzare i carichi di lavoro di inferenza per l'hardware locale, la generazione di token di alta qualità dipende ancora dai processori Nvidia, che sono scarsi a causa delle restrizioni all'esportazione. Guan Jiawei, vicepresidente della startup di ottimizzazione dell'inferenza Approaching.AI, ha sottolineato una 'bipolarizzazione' della domanda, con un'enorme disparità tra la necessità di token di alta qualità e la loro disponibilità. I processori domestici possono gestire solo output di qualità inferiore, ostacolando la sostenibilità commerciale. La situazione è aggravata da un aumento drammatico nell'uso di token, con le chiamate giornaliere di token in Cina che hanno superato i 140 trilioni a marzo, un aumento di oltre 1.000 volte rispetto all'inizio del 2024, come riportato dall'Amministrazione Nazionale dei Dati.