Graph Kernels per l'Interpretabilità Meccanicistica dei LLM

Un nuovo framework reinterpreta l'interpretabilità meccanicistica dei grandi modelli linguistici come un problema di machine learning su grafi. I ricercatori propongono di rappresentare i profili di attivazione-patching come grafi di effetto patch sui componenti del modello, introducendo tre metodi di costruzione del grafo: influenza diretta tramite mediazione causale, correlazione parziale e co-influenza. Applicando i graph kernel a GPT-2 Small su compiti di Identificazione di Oggetto Indiretto si mostra che i grafi di effetto patch preservano segnali strutturali discriminanti, con caratteristiche localizzate di edge-slot che raggiungono una maggiore accuratezza di classificazione rispetto ai metodi globali.