Grafici di conoscenza da caratteristiche di autoencoder sparsi
Un nuovo metodo estrae grafici di conoscenza specifici del dominio dalle caratteristiche di autoencoder sparsi nei modelli linguistici. L'approccio filtra milioni di caratteristiche utilizzando attivazioni contrastive, quindi costruisce grafici basati su co-occorrenza e transcoder con etichettatura automatica degli archi. Un caso studio su un libro di testo di biologia dimostra la tecnica.
Fatti principali
- Gli autoencoder sparsi estraggono milioni di caratteristiche interpretabili dai modelli linguistici.
- I concetti del dominio sono mescolati con caratteristiche generiche e debolmente fondate.
- Attivazioni contrastive e filtraggio a più stadi costruiscono un universo concettuale specifico del dominio.
- Vengono costruiti due grafici allineati: un grafico di co-occorrenza e un grafico meccanicistico basato su transcoder.
- L'etichettatura automatica degli archi trasforma i grafici in grafici di conoscenza leggibili.
- È stato condotto un caso studio su un libro di testo di biologia.
- Il metodo affronta la dispersione di idee correlate tra molte unità.
- L'approccio organizza la struttura concettuale a più livelli di granularità.
Entità
—