Nonlocalità delle Feature: Nuova Metrica per Misurare l'Astrattezza Semantica nelle Feature SAE

Un recente articolo di ricerca pubblicato su arXiv (2608.10537) presenta una nuova metrica chiamata Nonlocalità delle Feature (FNL), volta a valutare l'astrattezza semantica delle feature derivate da autoencoder sparsi (SAE) utilizzando modelli linguistici di grandi dimensioni (LLM). Questo studio affronta una questione significativa nell'interpretabilità meccanica: la differenziazione tra caratteristiche lessicali superficiali e quelle veramente di alto livello e sensibili al contesto. La FNL è definita come l'entropia dell'influenza normalizzata per posizione sull'attivazione di una feature SAE. I risultati indicano che la FNL si allinea con le metriche proxy basate su LLM per l'astrattezza semantica e distingue efficacemente le feature di ragionamento dipendenti dal contesto da quelle guidate dai token, mostrando una FNL più alta per le feature contestuali nel 73-84% delle coppie selezionate casualmente. Gli autori, i cui nomi non sono menzionati, contribuiscono all'interpretabilità dell'IA fornendo un metodo quantitativo per valutare l'astrazione delle feature, cruciale per validare le spiegazioni meccaniche dei comportamenti degli LLM come il ragionamento e il jailbreaking.