ZAYAN: Trasformatore Contrastivo Auto-Supervisionato per Dati Tabulari di Telerilevamento
ZAYAN è un framework all'avanguardia progettato per l'apprendimento auto-supervisionato, specificamente adattato per dati tabulari nel telerilevamento e negli studi ambientali. Affronta sfide come la ridondanza delle caratteristiche, la scarsità di dati etichettati e l'eterogeneità. Analizzando le caratteristiche anziché i campioni, elimina la necessità di selezionare ancore o etichette di classe, creando uno spazio di embedding più pulito. Il framework ha due parti: ZAYAN-CL, che pre-allena gli embedding delle caratteristiche utilizzando un metodo contrastivo a zero ancore con cambiamenti dinamici e mascheramento, e ZAYAN-T, un Trasformatore che applica questi embedding per compiti di classificazione. Questo metodo è stato testato su otto dataset, inclusi sei dataset standard per dati tabulari di telerilevamento e due dataset di previsione delle inondazioni da informazioni satellitari e GIS.
Fatti principali
- 1. ZAYAN sta per Zero-Anchor dYnamic feAture eNcoding (Codifica dinamica delle caratteristiche a zero ancore).
- 2. È un framework contrastivo auto-supervisionato per dati tabulari.
- 3. L'apprendimento contrastivo viene eseguito a livello di caratteristica, non di campione.
- 4. Non è richiesta alcuna selezione esplicita di ancore o etichette di classe.
- 5. Il framework promuove uno spazio di embedding ridondanza-minimizzata e disaccoppiato.
- 6. ZAYAN-CL pre-allena gli embedding delle caratteristiche tramite obiettivo contrastivo a zero ancore con perturbazioni dinamiche e mascheramento.
- 7. ZAYAN-T è un Trasformatore che si basa su questi embedding per la classificazione.
- 8. Valutato su otto dataset: sei benchmark tabulari di telerilevamento e due tabelle di previsione delle inondazioni.
Entità
Istituzioni
- arXiv