Aero Realtime: Un Modello Multimodale Streaming da 4B con Architettura Duplex

Uno studio recente pubblicato su arXiv (2608.08469) presenta Aero Realtime, un modello multimodale streaming da 4B progettato per facilitare la generazione duplex a bassa latenza. A differenza dei modelli streaming tradizionali che utilizzano un approccio turn-based prefill-then-decode, Aero Realtime sincronizza output video, audio e testo su una griglia temporale unificata, con ogni segmento audio di circa 80 millisecondi che predice un token lessicale o di silenzio. Questo design consente la progressione simultanea di input e output, permettendo a un singolo obiettivo autoregressivo di determinare sia i tempi di risposta che la generazione del contenuto. Durante l'inferenza, il modello aggiunge solo l'ultimo slot multimodale mantenendo il contesto precedente, migliorando l'efficienza e riducendo la latenza. L'articolo critica i limiti dei metodi proattivi come il micro-turn polling e i gate di risposta esterni, che interrompono l'interazione fluida e complicano il serving compatibile con la KV-cache. Questa ricerca è significativa per far progredire i sistemi AI interattivi in tempo reale, specialmente in contesti multimodali.