Reti di porte logiche ancorate all'input superano i limiti di scalabilità della profondità
Uno studio recente pubblicato su arXiv (2607.21633) rivela due ragioni principali per le carenze delle attuali Reti di Porte Logiche (LGN) per quanto riguarda l'aumento della profondità: il fenomeno del collasso dell'ottimizzazione nelle LGN rilassate profonde e un vincolo legato alla topologia che persiste anche con inizializzazione bias di skip e stima straight-through. I ricercatori propongono le Reti di Porte Logiche Ancorate all'Input (IALGN), che integrano una caratteristica nascosta in via di sviluppo con un ancoraggio diretto all'input in ogni porta, mantenendo una spina dorsale computazionale e condizionando tutti gli strati sull'input iniziale. Dimostrano che un percorso di profondità D può fare affidamento su fino a D+1 bit di input, stabilendo una gerarchia di profondità per percorso definitiva. Inoltre, un rilassamento dell'ancora a k casuali ottimizza la selezione dell'ancora, affrontando una limitazione chiave nella scalabilità della profondità delle LGN.
Fatti principali
- Il paper arXiv 2607.21633 identifica due cause del fallimento della scalabilità della profondità delle LGN
- Il collasso dell'ottimizzazione si verifica nelle LGN rilassate profonde
- La limitazione indotta dalla topologia persiste nonostante l'inizializzazione bias di skip e la stima straight-through
- La sola addestrabilità è insufficiente affinché gli strati più profondi ricevano informazioni utili
- Le Reti di Porte Logiche Ancorate all'Input (IALGN) combinano una caratteristica nascosta in evoluzione con un ancoraggio diretto all'input
- Le IALGN preservano una spina dorsale computazionale condizionando ogni strato sull'input originale
- Un percorso di profondità D può dipendere da fino a D+1 bit di input
- Viene stabilita una gerarchia di profondità per percorso rigorosa
- Il rilassamento dell'ancora a k casuali migliora la selezione dell'ancora
Entità
Istituzioni
- arXiv