ARTFEED — Contemporary Art Intelligence

Studio rileva che gli LLM sprecano risorse sulle istruzioni del server MCP

ai-technology · 2026-08-11

Un nuovo studio su arXiv (2608.08467) indaga su come i Large Language Models (LLM) utilizzano i dati incorporati nelle istruzioni nei server Model Context Protocol (MCP). La ricerca, che ha coinvolto 54.000 prove su 24 LLM (9 Claude, 6 Gemini, 9 GPT), rivela che mentre i modelli possono leggere in modo affidabile i dati di riferimento incorporati quando non è disponibile alcuno strumento alternativo, spesso non lo fanno quando è presente uno strumento di ricerca, portando a un uso inefficiente delle risorse. Lo studio evidenzia una preferenza comportamentale piuttosto che una mancanza di capacità, poiché 23 dei 24 modelli hanno raggiunto almeno il 98% di hit ratio senza lo strumento di ricerca. Questa scoperta ha implicazioni per la progettazione dei server MCP e l'efficienza degli LLM in ambienti di produzione, in particolare per i server di informazioni legali.

Fatti principali

  • Studio su arXiv: 2608.08467
  • 54.000 prove condotte
  • 24 LLM testati: 9 Claude, 6 Gemini, 9 GPT
  • Server MCP di informazioni legali in produzione utilizzato
  • Senza strumento di ricerca, 23 dei 24 modelli hanno letto i dati incorporati con un hit ratio ≥98%
  • Con lo strumento di ricerca presente, i modelli spesso non riescono a utilizzare i dati incorporati
  • I fallimenti sono attribuiti a una preferenza comportamentale, non a una mancanza di capacità
  • MCP standardizza l'esposizione di dati e strumenti del server agli LLM

Entità

Istituzioni

  • arXiv
  • Model Context Protocol (MCP)

Fonti