LC-SEPLM: Adattamento supervisionato a lungo raggio per l'apprendimento di rappresentazioni proteiche solo da sequenze

Un nuovo modello linguistico per proteine, LC-SEPLM (Long-range Contact-supervised ESM Protein Language Model), adatta ESM2 utilizzando LoRA e supervisione dei contatti tra coppie di residui a lungo raggio, mantenendo l'inferenza basata solo su sequenze. Impiega query specifiche per coppie con attenzione incrociata sull'intera sequenza per catturare il contesto globale dei contatti spaziali. Addestrato su 500.000 proteine di AlphaFold Swiss-Prot, LC-SEPLM ha migliorato tutti gli otto compiti a livello proteico rispetto a ESM2, con il maggior guadagno nel riconoscimento di omologia remota (macro-F1 aumentato). Il modello affronta il limite dei modelli linguistici standard che non apprendono esplicitamente i contatti tridimensionali dei residui dalle sequenze.