Wisteria: un modello linguistico del DNA a scala multipla
Un team di ricercatori ha presentato Wisteria, un modello linguistico genomico progettato per incorporare l'apprendimento di caratteristiche a scala multipla per sequenze di DNA. Questo modello potenzia l'architettura basata su Mamba utilizzando convoluzioni dilatate gated per identificare motivi locali, insieme a percettroni multistrato gated per gestire le dipendenze globali. Inoltre, un meccanismo di attenzione basato su Fourier facilita la modellazione nel dominio della frequenza e supporta la generalizzazione della lunghezza. Wisteria dimostra risultati impressionanti su benchmark downstream, gestendo efficacemente dipendenze sia a corto che a lungo raggio.
Fatti principali
- 1. Wisteria è un modello linguistico genomico per sequenze di DNA.
- 2. Integra l'apprendimento di caratteristiche a scala multipla in un quadro unificato.
- 3. Potenzia l'architettura Mamba con convoluzioni dilatate gated.
- 4. I percettroni multistrato gated raffinano le dipendenze globali.
- 5. Un meccanismo di attenzione basato su Fourier supporta la modellazione nel dominio della frequenza.
- 6. Funziona bene su benchmark con dipendenze a corto e lungo raggio.
- 7. L'articolo è pubblicato su arXiv con ID 2605.05913.
- 8. Il modello affronta l'interazione tra motivi locali e dipendenze globali.
Entità
Istituzioni
- arXiv