Decomposizione SAE di un Modello di Sequenze Cliniche Rivela Complessità delle Feature e Specializzazione dei Compiti
Nel loro studio, i ricercatori hanno utilizzato autoencoder sparsi (SAE) su FlatASCEND, un modello autoregressivo di sequenze cliniche con 14,5 milioni di parametri, esaminando tutti i 10 punti di estrazione del flusso residuo nei dataset INSPECT (ambulatoriale) e MIMIC-IV (terapia intensiva). La decomposizione SAE rivela un'astrazione graduale all'aumentare della profondità dei layer del trasformatore: le feature del layer-0 agiscono come rilevatori di token quasi perfetti (45,7% singleton), mentre le feature del layer-6 comprendono circa 30 tipi di token in varie categorie cliniche (0,5% singleton). Utilizzando sonde lineari semplici su sequenze complete, le feature SAE eccellono nel predire eventi discreti (mortalità), mentre le rappresentazioni dense sono superiori per previsioni continue (durata della degenza). Questo fenomeno a livello di sonda non si applica a finestre clinicamente significative e sicure da perdite.
Fatti principali
- Autoencoder sparsi applicati a FlatASCEND, un modello di sequenze cliniche da 14,5 milioni di parametri
- SAE TopK addestrati sui dataset INSPECT e MIMIC-IV
- Le feature del layer-0 sono rilevatori di token singleton al 45,7%
- Le feature del layer-6 coprono circa 30 tipi di token in molteplici categorie cliniche (0,5% singleton)
- Le feature SAE superano le rappresentazioni dense nella previsione della mortalità con sonde lineari su sequenze complete
- Le rappresentazioni dense superano le feature SAE nella previsione della durata della degenza
- Il fenomeno non si estende a finestre sicure da perdite
- Studio pubblicato su arXiv (2605.04072)
Entità
Istituzioni
- arXiv