La compressione dello schema degli strumenti potenzia il RAG agentico con budget di contesto ridotti

Un nuovo studio su arXiv, intitolato paper 2605.26165, esplora la relazione tra le definizioni dello schema degli strumenti e l'uso della finestra di contesto nei sistemi RAG agentici. I ricercatori hanno valutato 14 modelli linguistici, con dimensioni comprese tra 1,5 e 32 miliardi di parametri, conducendo 6.566 test API controllati su tre diversi budget di contesto: 8K, 16K e 32K, utilizzando 28 definizioni di strumenti. Hanno applicato la compressione con profilo conservativo TSCG, che ha risparmiato il 44-50% dei token dello schema. I risultati hanno rivelato che con 8K token, le definizioni JSON-schema non compresse non potevano essere inserite, portando a quasi nessuna corrispondenza esatta (2,6% in media). Tuttavia, con la compressione, si è registrato un aumento medio significativo delle corrispondenze esatte di +20,5 punti percentuali su tutti i modelli. Questo studio evidenzia il ruolo cruciale della compressione dello schema per un'efficace generazione aumentata da recupero in contesti limitati.