Le Rappresentazioni Neurali Richiedono Sonde a Stabilità Simmetrica

Uno studio recente pubblicato su arXiv (2605.11448) sostiene che le rappresentazioni neurali non sono entità singolari; vari sistemi che eseguono lo stesso calcolo possono possedere coordinate nascoste che differiscono a causa della riparametrizzazione. I ricercatori suggeriscono che le famiglie di sonde progettate per scoprire le strutture delle rappresentazioni dovrebbero rimanere stabili sotto le simmetrie rilevanti invece di essere legate a una base specifica. La loro indagine si concentra sull'ultimo strato di lettura, dove realizzazioni equivalenti portano a trasformazioni affini. Questo principio di simmetria stabilisce una gerarchia distinta di sonde a coordinate stabili superficiali, con le sonde lineari che rappresentano il primo grado. Inoltre, sostengono che il trasferimento di sonde tra modelli dovrebbe utilizzare un quoziente visibile alla sonda condiviso, che riflette la rappresentazione modulo le direzioni che la famiglia di sonde non può rilevare, piuttosto che lo stato nascosto completo. Esperimenti condotti sia su compiti sintetici che reali convalidano questi risultati.