I Transformers a Doppio Flusso Riducono i Costi di Inferenza Separando Prefill e Decode

L'introduzione del trasformatore a doppio flusso segna un progresso significativo nell'architettura, distinguendo il percorso principale di elaborazione del prompt dalle computazioni ausiliarie che vengono utilizzate solo durante la decodifica autoregressiva. Questa innovazione risponde alla crescente rilevanza dei costi di inferenza cumulativi nei modelli linguistici di grandi dimensioni, che ora si avvicinano alle spese di un addestramento una tantum. Il flusso principale opera come un modello linguistico causale completo, gestendo il prefill del prompt e mantenendo una cache chiave-valore (KV) persistente. Nel frattempo, il flusso ausiliario è inattivo durante l'elaborazione del prompt e si attiva solo dopo la posizione finale del prompt, migliorando il calcolo per la previsione della continuazione senza influire sull'elaborazione iniziale. Questo metodo consente un calcolo appreso extra per la decodifica senza aumentare i costi di prefill, a differenza dei metodi di scaling tradizionali. La ricerca, disponibile su arXiv (2608.12385), sottolinea i requisiti hardware distinti per il prefill, che è parallelo e limitato dal calcolo, rispetto alla decodifica, che è sequenziale e limitata dalla larghezza di banda della memoria. Separando questi percorsi, il trasformatore a doppio flusso mira a migliorare l'efficienza delle risorse e ridurre i costi complessivi di inferenza, affrontando la crescente necessità di risposte in tempo reale.