Un Singolo Testo Hub Sfrutta le Vulnerabilità Cross-Modali di CLIP

I ricercatori hanno identificato una vulnerabilità critica nei codificatori cross-modali come CLIP, dove un singolo testo hub può ottenere punteggi di similarità irragionevolmente alti su immagini non correlate. Il problema dell'hubness, comune negli spazi ad alta dimensionalità, rappresenta una minaccia pratica per il recupero di informazioni e le metriche di valutazione automatica. Il metodo proposto rileva gli embedding hub e i relativi testi hub. Esperimenti su MSCOCO e nocaps per la valutazione della didascalia delle immagini, e su MSCOCO e Flickr30k per il recupero immagine-testo, dimostrano che un singolo testo hub può eguagliare o superare i punteggi di similarità delle didascalie corrette. Ciò rivela debolezze sistemiche nel calcolo della similarità cross-modale, che si basa su spazi di embedding condivisi piuttosto che su confronti diretti come il matching di stringhe.