Scalare il Trasformatore Autoregressivo per la Generazione di Cellule Singole
Uno studio pubblicato su arXiv (2608.02961) presenta un compito auto-supervisionato volto a generare vettori di espressione genica di cellule singole. Utilizzando un trasformatore causale insieme a un tokenizer VAE quantizzato appreso, il modello viene addestrato utilizzando la perdita di entropia incrociata. La ricerca esplora l'accuratezza biologica dei vettori generati e il comportamento di scaling della perdita di pre-addestramento. Regolando vari parametri e set di dati, gli autori scoprono la prima legge di scaling a due esponenti adattata congiuntamente e la frontiera ottimale dal punto di vista computazionale. L'articolo completo è disponibile all'indirizzo https://arxiv.org/abs/2608.02961.
Fatti principali
- L'articolo è su arXiv con ID 2608.02961.
- Il compito è la generazione auto-supervisionata di vettori di espressione genica di cellule singole.
- Il modello è un trasformatore causale con un tokenizer VAE quantizzato.
- L'addestramento utilizza la perdita di entropia incrociata.
- La valutazione confronta la distribuzione generata con quella reale.
- Le proprietà di scaling sono studiate variando parametri e dati.
- L'articolo riporta la prima legge di scaling a due esponenti adattata congiuntamente.
- Viene identificata una frontiera ottimale dal punto di vista computazionale.
Entità
Istituzioni
- arXiv