LLM di frontiera vs. embedding multimodali nativi: un confronto di recupero testo-immagine con hard negative

Uno studio recente pubblicato su arXiv (2608.11343) segna la prima valutazione diretta degli embedding multimodali nativi rispetto al ranking visivo basato su LLM per il recupero testo-immagine. Pubblicato nel 2026, la ricerca analizza Gemini Embedding 2 di Google, il pionieristico modello di embedding nativamente multimodale che integra testo, immagini, video, audio e documenti in uno spazio unificato. Lo confronta con i principali modelli linguistici di grandi dimensioni (LLM) come GPT-4.1 e Claude Sonnet 4.6, utilizzando il dataset Flickr30k con compiti di recupero difficili. I risultati rivelano che GPT-4.1 e Claude Sonnet 4.6 eguagliano le prestazioni di Gemini Embedding 2, mentre gli embedding multimodali eccellono in situazioni in cui gli embedding sono precalcolati, offrendo vantaggi in termini di efficienza. I risultati sottolineano l'intensificarsi della rivalità nei sistemi di recupero multimodale e il potenziale degli LLM come ranker zero-shot.