Limite in forma chiusa sull'interazione tra strati nell'ablazione dello spazio dei pesi

Una recente pubblicazione su arXiv (2608.03629) estende un risultato teorico riguardante la concordanza tra il patching dell'attivazione e l'ablazione dello spazio dei pesi nelle architetture transformer. Lo studio compagno iniziale ha esaminato un modello semplificato in cui la computazione condizionale viene aggiunta tramite un flusso residuo, derivando una formula precisa di interazione al primo ordine per un caso specifico che coinvolge due portatori dipendenti dall'architettura: una testa di attenzione e la composizione normalizzazione-MLP del relativo strato. Questo risultato era limitato a un singolo blocco residuo ed è stato valutato solo su piccoli transformer utilizzando un compito sintetico. Il nuovo articolo amplia questi risultati dimostrando che l'interazione derivante dall'ablazione di portatori attraverso più strati può essere scomposta in termini dello stesso blocco per ogni strato interessato, insieme a un resto tra strati. Inoltre, isola precisamente questo resto per due strati come un integrale doppio di una specifica espressione. Scritto da ricercatori, l'articolo è teorico e non include test empirici su modelli pre-addestrati reali, nonostante il titolo suggerisca tale test; l'abstract non menziona alcuna valutazione empirica.