Metodologia in Cinque Fasi per l'Analisi delle Caratteristiche Causali nei Modelli Linguistici Transformer

Uno studio disponibile su arXiv (2605.22462) introduce un approccio in cinque fasi per analizzare le caratteristiche causali nei modelli linguistici transformer. Il processo include progettazione di sonde, estrazione di caratteristiche, validazione causale, test di robustezza e integrazione per il deployment. La metodologia viene applicata al modello GPT-2 small nel compito di Identificazione di Oggetto Indiretto (IOI), dove il patching dell'attivazione recupera con successo il circuito IOI standard, ottenendo un recupero di +1.02 con il layer-9 head 9. Un autoencoder sparso identifica caratteristiche selettive per nome, con dimensioni dell'effetto che vanno da 30 a 50 unità di attivazione. La validazione causale rivela che, sebbene queste caratteristiche siano parzialmente causali, l'ablazione di quindici di esse mantiene un'accuratezza del 98%. Due valutazioni ispirate a NLA indicano che queste caratteristiche spiegano solo il 31% della varianza di attivazione rispetto al 99,7% dell'SAE, e esiste una correlazione negativa tra il rapporto di selettività e la forza causale (r = -0,56). I test di robustezza su tre cambi di distribuzione mostrano che il circuito rimane efficace nonostante le variazioni.