Caratterizzazione Logica dei Trasformatori Encoder-Decoder

È stata proposta una nuova caratterizzazione logica dei trasformatori encoder-decoder, fondamentali per i LLM e le applicazioni di cross-attention. Lo studio modella questi trasformatori su testo con numeri a virgola mobile e soft-attention, utilizzando una nuova logica temporale che estende la logica proposizionale con una modalità globale di conteggio sull'input dell'encoder e una modalità passata sull'input del decoder. Viene fornita un'ulteriore caratterizzazione tramite automi distribuiti, e i risultati sono mostrati per accomodare variazioni architetturali come il masking. Viene anche discusso l'impostazione autoregressiva.