Trasformatori a Ciclo: Quadro a Punto Fisso per il Ridimensionamento del Tempo di Test
Un nuovo quadro teorico esamina gli aspetti di stabilità e generalizzazione delle architetture di trasformatori a ciclo, che offrono potenziale per ridimensionare il calcolo durante il test concentrandosi su problemi più difficili. Questa ricerca presenta un'analisi a punto fisso su tre dimensioni: raggiungibilità, dipendenza dall'input e geometria. I risultati dimostrano che le reti a ciclo prive di richiamo hanno punti fissi numerabili e non riescono a ottenere una significativa dipendenza dall'input in nessun regime spettrale. Al contrario, l'incorporazione del richiamo con normalizzazione esterna crea un ambiente affidabile in cui i punti fissi sono raggiungibili, localmente lisci rispetto all'input e supportati da una retropropagazione stabile. Inoltre, trasformatori a ciclo a singolo strato sono stati testati su compiti di scacchi, sudoku e somme di prefissi. Il documento è disponibile su arXiv con ID 2604.15259.
Fatti principali
- I trasformatori a ciclo promettono un ridimensionamento del calcolo al test spendendo più iterazioni su problemi più difficili.
- Un quadro basato su punti fissi analizza le architetture a ciclo lungo tre assi: raggiungibilità, dipendenza dall'input e geometria.
- Le reti a ciclo senza richiamo hanno punti fissi numerabili e non possono ottenere una forte dipendenza dall'input in nessun regime spettrale.
- Il richiamo combinato con normalizzazione esterna produce un regime con punti fissi raggiungibili, localmente lisci e retropropagazione stabile.
- L'addestramento empirico di trasformatori a ciclo a singolo strato è stato eseguito su compiti di scacchi, sudoku e somme di prefissi.
- Il documento è intitolato 'Stabilità e Generalizzazione nei Trasformatori a Ciclo'.
- Il documento è disponibile su arXiv con ID 2604.15259.
- Lo studio affronta se le architetture a ciclo possano estrapolare a problemi più difficili al test piuttosto che memorizzare soluzioni specifiche dell'addestramento.
Entità
Istituzioni
- arXiv