Caracal: Architettura Efficiente per LLM che Utilizza la Trasformata di Fourier

Caracal è una nuova architettura per modelli linguistici di grandi dimensioni che sostituisce il meccanismo di attenzione a costo quadratico con un modulo Multi-Head Fourier (MHF) a efficienza parametrica, raggiungendo una complessità O(L log L). Utilizza la Trasformata Veloce di Fourier (FFT) per il mixing delle sequenze e introduce una tecnica di masking causale nel dominio della frequenza tramite padding asimmetrico e troncamento per consentire la generazione autoregressiva. A differenza di modelli specifici per hardware come Mamba, Caracal si basa su operatori di libreria standard, garantendo portabilità. Le valutazioni mostrano prestazioni competitive rispetto ai modelli esistenti. L'articolo è disponibile su arXiv.