I VLM sopprimono le rappresentazioni femminili in input ambigui

Una recente indagine indica che i modelli visione-linguaggio (VLM) tendono ad associare immagini ambigue dal punto di vista del genere a identità maschili, anche in contesti che coinvolgono occupazioni tipicamente legate alle donne. Lo studio presenta LALS (Latent Association Learning Score), una nuova metrica zero-shot progettata per valutare le associazioni concettuali interne mappando le attivazioni dei token visivi nello spazio di embedding testuale. Analizzando oltre 800 immagini ambigue in 15 occupazioni e quattro VLM, i ricercatori hanno scoperto un disallineamento costante: mentre i modelli codificano frequentemente associazioni femminili internamente, producono prevalentemente output maschili. Questa discrepanza sottolinea l'inadeguatezza delle tecniche di allineamento quando si ha a che fare con input ambigui, che sono prevalenti negli scenari reali.