I modelli multimodali mostrano una ridotta diversità semantica nella generazione di immagini

Un nuovo studio su arXiv (2608.00410) indaga come i modelli multimodali gestiscono le parole polisemiche—termini con molteplici significati come 'banca' o 'palma'. La ricerca, che ha analizzato 17 modelli text-to-image e 15 modelli di generazione testuale, rivela un divario significativo: quando viene data una parola polisemica senza contesto, i modelli di generazione di immagini producono molti meno sensi distinti rispetto ai modelli testuali. Nello specifico, l'entropia normalizzata per le immagini era 0,10, rispetto a 0,25 per il testo, ed entrambi erano molto inferiori all'immaginazione umana, che era 0,47. Lo studio ha anche scoperto che quando ai modelli viene chiesto di prevedere la distribuzione dei significati che genererebbero, essi possono anticipare la propria distribuzione di output, suggerendo un potenziale metodo per la calibrazione. Questa ricerca evidenzia una limitazione nella capacità degli attuali sistemi di intelligenza artificiale di catturare la piena ricchezza semantica del linguaggio, con implicazioni per le applicazioni creative e l'interazione uomo-AI.