Gli spazi latenti dei VLM contengono 164 dimensioni di rumore non semantico

Un nuovo preprint su arXiv (2605.14893) rivela che i modelli linguistico-visivi (VLM) preaddestrati in modo contrastivo, come CLIP, ospitano un rumore non semantico significativo nei loro spazi latenti condivisi. I ricercatori hanno applicato la decomposizione spettrale alle matrici di covarianza, separando i segnali semantici multimodali da un sottospazio di rumore condiviso. Hanno scoperto che questa geometria del rumore mostra una forte invarianza di sottogruppo attraverso diversi sottoinsiemi di dati. Potare queste dimensioni di rumore è in gran parte innocuo e può persino migliorare le prestazioni nei compiti downstream. Lo studio suggerisce che una frazione sostanziale della geometria latente dei VLM è governata dal rumore a livello di architettura piuttosto che dalla semantica rilevante per il compito, offrendo nuove intuizioni meccanicistiche sulla struttura rappresentazionale.