Uso Visivo di Strumenti nei LLM Multimodali: Un Audit Causale

Uno studio recente pubblicato su arXiv (2608.06270) esamina l'efficacia dell'uso visivo di strumenti nei modelli linguistici di grandi dimensioni (LLM) multimodali, concentrandosi sull'approccio 'pensare-con-le-immagini' che consente azioni come ritaglio e zoom. La ricerca indica che i modelli che utilizzano queste tecniche mostrano spesso miglioramenti solo lievi o addirittura negativi rispetto all'inferenza diretta, sostenendo anche costi di token significativamente più elevati. Inoltre, tendono a ritagliare aree irrilevanti e a fallire su domande che l'inferenza diretta può rispondere correttamente. Per valutare l'impatto causale delle prove visive sulle risposte, gli autori sviluppano un grafo causale che distingue tra percorsi mediati dall'osservazione e scorciatoie indotte dall'azione. Valutano questo attraverso interventi a tre livelli: politica, traiettoria e passo. L'estimando a livello di passo, Guadagno di Evidenza Visiva, aiuta a individuare l'impatto di ogni osservazione visiva. Questo articolo, scritto da ricercatori, evidenzia potenziali limitazioni nei metodi attuali di uso visivo di strumenti per i sistemi di intelligenza artificiale multimodali.