Interventi causali nelle reti neurali possono creare rappresentazioni divergenti

Un nuovo studio su arXiv indaga se gli interventi causali nelle reti neurali producano rappresentazioni fuori distribuzione (divergenti), minando potenzialmente l'affidabilità delle spiegazioni di interpretabilità meccanicistica. Gli autori dimostrano sia teoricamente che empiricamente che le tecniche di intervento comuni spesso spostano le rappresentazioni interne lontano dalla distribuzione naturale. Analizzano due tipi di divergenza: quelle 'innocue' nel null-space comportamentale e quelle 'perniciose' che attivano percorsi nascosti. Il lavoro propone strategie di mitigazione per i casi perniciosi.