Trasformatori con Attenzione Media Eguagliano i Circuiti Aritmetici

Uno studio recente pubblicato su arXiv (2605.04683) indaga le capacità degli encoder trasformatori che funzionano come mappature sequenza-a-sequenza per vettori. I ricercatori rivelano che l'attenzione media dura può replicare efficacemente i circuiti aritmetici quando questi circuiti sono inseriti nell'encoder. Queste famiglie di circuiti simulati mantengono una profondità costante mentre consentono addizione illimitata, moltiplicazione binaria e porte di segno. In questa ricerca, i trasformatori sostituiscono le reti feed-forward con circuiti aritmetici. Inoltre, le funzioni generate da questi trasformatori utilizzando l'attenzione media tipica possono essere calcolate anche dalla stessa classe di famiglie di circuiti. I risultati sono applicabili ai trasformatori sui reali, razionali e qualsiasi anello intermedio. Questo articolo rientra nella categoria Informatica > Complessità Computazionale.