Audit della Memoria Visiva Causale Rivela Carenze nel Richiamo dell'IA Multimodale

Un nuovo studio pubblicato su arXiv introduce l'Audit della Memoria Visiva Causale (CVMA), un framework che verifica se gli assistenti multimodali con stato possono dimenticare in modo sicuro le informazioni visive tra turni di dialogo. La ricerca rileva che gli attuali metodi di evizione visiva basati sull'attenzione spesso classificano le regioni visive future-utili peggio del caso, nonostante un significativo margine di selezione. Sui benchmark VisDial e ConvBench, i punteggi aggregati mascherano questo fallimento quando i turni successivi non richiedono la visione. Storie controllate e generate da stock rivelano che il KV del testo dell'assistente può sostituire il KV dell'immagine per fatti già dichiarati, ma non in modo affidabile per quelli non dichiarati. Lo studio mette in discussione le ipotesi nell'evizione guidata dall'attenzione e evidenzia i rischi nella memoria visiva a lungo termine per gli assistenti IA.