Cloudflare Lancia una Piattaforma Unificata di Inferenza AI per lo Sviluppo di Agenti Multimodali

Cloudflare ha trasformato la propria infrastruttura in un livello di inferenza completo che consente agli sviluppatori di accedere a oltre 70 modelli provenienti da più di 12 fornitori attraverso una singola API. Questa piattaforma unificata affronta la rapida evoluzione dei modelli AI consentendo il passaggio senza soluzione di continuità tra fornitori come OpenAI, Anthropic, Google e Alibaba Cloud senza vincoli operativi. Gli sviluppatori possono ora costruire applicazioni multimodali che incorporano modelli per immagini, video e voce insieme ai tradizionali modelli linguistici. Il sistema fornisce un monitoraggio centralizzato dei costi tra più fornitori, con le aziende che attualmente utilizzano in media 3,5 modelli diversi per applicazione. Per i clienti enterprise che richiedono soluzioni personalizzate, Cloudflare sta sviluppando strumenti che consentono agli utenti di portare i propri modelli ottimizzati utilizzando la tecnologia di containerizzazione Cog di Replicate. La piattaforma sfrutta la rete globale di 330 data center di Cloudflare per minimizzare la latenza, cruciale per gli agenti in tempo reale dove la velocità del primo token determina la percezione dell'utente. Il routing automatico di failover garantisce l'affidabilità quando i fornitori subiscono interruzioni, mentre i meccanismi di buffering mantengono la continuità dello streaming durante le disconnessioni. Il team di Replicate si è completamente integrato con il team della Piattaforma AI di Cloudflare, lavorando per migrare tutti i modelli Replicate su AI Gateway e ospitarli sull'infrastruttura Cloudflare. Questo sviluppo segue i recenti miglioramenti a AI Gateway, inclusi gateway predefiniti senza configurazione, tentativi automatici di riconnessione e controlli di registrazione granulari.