Masked-Position JEPA migliora le prestazioni dei modelli linguistici per proteine

Un nuovo studio su arXiv (2605.07554) propone masked-position MLM+JEPA, una ricetta di addestramento che combina la predizione nello spazio latente con il masked language modeling per encoder di sequenze proteiche. Il metodo predice target latenti solo nelle posizioni mascherate, mantenendo la perdita di entropia incrociata MLM. Testato su modelli ESM2 (35M e 150M parametri) e encoder inizializzati casualmente, supera l'addestramento solo MLM in compiti downstream: 10 vittorie/3 sconfitte/3 pareggi per ESM2-35M e 11/2/3 per ESM2-150M su una suite di 16 compiti che include sonde lineari congelate e recupero zero-shot del fold SCOPe-40. I risultati dell'addestramento da zero sono misti (6/8/2). Il lavoro suggerisce che la predizione latente complementa gli obiettivi a livello di token sotto budget di tempo di calcolo equivalenti.