Studio rileva che gli LLM sprecano risorse sulle istruzioni del server MCP
Un nuovo studio su arXiv (2608.08467) indaga su come i Large Language Models (LLM) utilizzano i dati incorporati nelle istruzioni nei server Model Context Protocol (MCP). La ricerca, che ha coinvolto 54.000 prove su 24 LLM (9 Claude, 6 Gemini, 9 GPT), rivela che mentre i modelli possono leggere in modo affidabile i dati di riferimento incorporati quando non è disponibile alcuno strumento alternativo, spesso non lo fanno quando è presente uno strumento di ricerca, portando a un uso inefficiente delle risorse. Lo studio evidenzia una preferenza comportamentale piuttosto che una mancanza di capacità, poiché 23 dei 24 modelli hanno raggiunto almeno il 98% di hit ratio senza lo strumento di ricerca. Questa scoperta ha implicazioni per la progettazione dei server MCP e l'efficienza degli LLM in ambienti di produzione, in particolare per i server di informazioni legali.
Fatti principali
- Studio su arXiv: 2608.08467
- 54.000 prove condotte
- 24 LLM testati: 9 Claude, 6 Gemini, 9 GPT
- Server MCP di informazioni legali in produzione utilizzato
- Senza strumento di ricerca, 23 dei 24 modelli hanno letto i dati incorporati con un hit ratio ≥98%
- Con lo strumento di ricerca presente, i modelli spesso non riescono a utilizzare i dati incorporati
- I fallimenti sono attribuiti a una preferenza comportamentale, non a una mancanza di capacità
- MCP standardizza l'esposizione di dati e strumenti del server agli LLM
Entità
Istituzioni
- arXiv
- Model Context Protocol (MCP)