Interpretabilità Interna: Contrazione e Propagazione nei Transformer

Uno studio recente presenta il concetto di interpretabilità interna, offrendo una visione basata sulla propagazione di come sono strutturati i modelli interni, applicato specificamente ai Transformer tabulari attraverso il rollout dell'attenzione. I ricercatori definiscono il rollout come un operatore stocastico per righe che cattura la propagazione guidata dall'attenzione tra i token delle caratteristiche. Utilizzando la classica teoria della contrazione di Doeblin–Dobrushin, dimostrano che un operatore di rollout con un coefficiente di Dobrushin minimo assomiglia molto a una matrice stocastica di rango uno, dove la riga condivisa è definita dalle sue somme di colonna normalizzate. Questa scoperta fornisce una comprensione strutturale del profilo di propagazione del rollout associato. Nei Transformer progettati per prevedere l'età metabolomica, la contrazione osservata del rollout aumenta con la profondità, suggerendo una migliore organizzazione interna.