Trasformatori Addestrati come Computer Universali tramite Programmi MicroPy

Uno studio rivela che un trasformatore compatto può essere sviluppato in un computer universale imparando a eseguire programmi in MicroPy, un linguaggio di programmazione semplificato ma computazionalmente completo. Utilizzando l'impalcatura PENCIL, il trasformatore predice l'esecuzione in piccoli passi, consentendo un'elaborazione efficiente all'interno di una finestra di contesto limitata. Dopo l'addestramento su script MicroPy generati casualmente e privi di significato, il modello si adatta con successo a programmi creati dall'uomo, inclusi manipolazione di bit, aritmetica binaria e risoluzione di problemi SAT. Il modello addestrato mostra generalizzazione fuori distribuzione, valutando nuovi programmi da distribuzioni mai viste prima. Dato che MicroPy può rappresentare qualsiasi computazione, questi risultati offrono supporto empirico che un trasformatore standard può essere addestrato per fungere da computer universale. Questo articolo è disponibile su arXiv nelle sezioni di informatica e intelligenza artificiale.