Le Reti Neurali Acquisiscono una Rappresentazione SVD Generalizzata

Una recente pubblicazione su arXiv (2605.06938) si basa sul framework della Decomposizione Generalizzata ai Valori Singolari (GSVD) stabilito da Brown et al. (2025), applicandolo a progetti contemporanei di reti neurali. I ricercatori dimostrano che la maggior parte di queste reti può essere espressa in un formato SVD generalizzato, mantenendo l'invertibilità sinistra prima dello strato lineare finale senza alterare le dinamiche input-output. Inoltre, la porzione non lineare invertibile a sinistra può essere regolata per preservare le norme, assicurando che i cambiamenti nello spazio di embedding siano proporzionali alle alterazioni nell'input. Ciò consente una calibrazione delle distanze nello spazio delle caratteristiche rispetto a quelle nello spazio di input. L'articolo introduce un metodo basato sui dati per stimare questa rappresentazione da modelli addestrati e suggerisce un progetto di modello che supporta la decomposizione. Una prova di concetto mostra che la rappresentazione derivata può rilevare perturbazioni nell'input.