Modulo di Immaginazione Latente Migliora la Calibrazione dei VLM Solo Testuali

È stata scoperta una significativa lacuna nei modelli visione-linguaggio (VLM) quando vengono utilizzati esclusivamente con input testuali: l'assenza della componente visiva porta a notevoli cali di accuratezza e a una grave miscalibrazione, nonostante le descrizioni testuali mantengano informazioni semantiche essenziali. Le prestazioni del modello si discostano dalla sua base linguistica originale quando viene sollecitato solo con testo. Per affrontare questo problema, i ricercatori introducono il Modulo di Immaginazione Latente (LIM), un meccanismo di attenzione incrociata semplificato che genera embedding latenti immaginati dal testo e li integra in un backbone VLM statico, eliminando la necessità di generazione di immagini a livello di pixel. LIM migliora l'accuratezza e minimizza gli errori di calibrazione in vari benchmark solo testuali, suggerendo che il completamento della modalità latente può collegare efficacemente l'addestramento multimodale con applicazioni esclusivamente testuali.