La Turing-completezza dei Transformer dipende dalla gestione del contesto
Un nuovo articolo su arXiv (2605.19514) chiarisce che le affermazioni sulla Turing-completezza dei Transformer spesso confondono due impostazioni: un'impostazione a sistema fisso, in cui un singolo Transformer autoregressivo utilizza un metodo di gestione del contesto fisso, e un'impostazione a famiglia scalabile, in cui diversi modelli gestiscono lunghezze di input variabili. Gli autori sostengono che l'implementazione reale dei LLM corrisponde all'impostazione a sistema fisso, mentre le prove esistenti di Turing-completezza si applicano tipicamente all'impostazione a famiglia scalabile. Formalizzano l'impostazione a sistema fisso per caratterizzare il funzionamento effettivo dei LLM, notando che i risultati dell'impostazione a famiglia scalabile forniscono un supporto teorico limitato per il caso a sistema fisso.
Fatti principali
- L'articolo arXiv 2605.19514 distingue due impostazioni per la Turing-completezza dei Transformer.
- Impostazione a sistema fisso: un singolo Transformer autoregressivo con gestione del contesto fissa.
- Impostazione a famiglia scalabile: una famiglia di modelli con finestre di contesto o precisione variabili.
- Le prove esistenti di Turing-completezza spesso si basano sull'impostazione a famiglia scalabile.
- L'implementazione reale dei LLM corrisponde all'impostazione a sistema fisso.
- L'articolo formalizza l'impostazione a sistema fisso per il funzionamento dei LLM.
- I risultati dell'impostazione a famiglia scalabile forniscono un supporto limitato per le affermazioni sul sistema fisso.
- L'articolo sostiene che la confusione tra le impostazioni porta ad affermazioni fuorvianti.
Entità
Istituzioni
- arXiv