JEPA-DNA: Un nuovo framework per potenziare i modelli genomici di base

Uno studio recente presenta JEPA-DNA, un framework di addestramento continuo che è agnostico rispetto al modello, che unisce un'Architettura Predittiva a Incorporamento Congiunto (JEPA) con obiettivi generativi convenzionali per potenziare i Modelli Genomici di Base (GFM). Questo articolo, accessibile su arXiv (arXiv:2602.17162), critica i GFM esistenti, che generalmente dipendono dalla Modellazione del Linguaggio Mascherato (MLM) o dalla Predizione del Token Successivo (NTP), per la loro enfasi sulla ricostruzione a livello di token, trascurando il contesto funzionale più ampio. JEPA-DNA migliora questo supervisionando gli incorporamenti di sequenze globali in uno spazio latente, costringendo i modelli a predire rappresentazioni funzionali di segmenti genomici mascherati, spostando così l'attenzione dal recupero dei token all'allineamento semantico. Valutato su 17 diversi compiti di benchmark genomici, ha dimostrato notevoli miglioramenti nelle prestazioni di probing lineare e zero-shot, indipendentemente dall'architettura GFM o dall'obiettivo generativo. Gli autori affermano che JEPA-DNA stabilisce un nuovo punto di riferimento per i modelli genomici di base. Questa prestampa è stata annunciata con un tipo 'replace', che significa una versione rivista, ed è pertinente alla genomica, all'intelligenza artificiale e all'apprendimento automatico, con implicazioni per decifrare le 'Leggi della Natura' codificate nelle sequenze genomiche.