InflationAgent: Nuovo Router Riduce i Costi dei Token nei Sistemi LLM Agentici

Uno studio recente pubblicato su arXiv (2608.13571) presenta InflationAgent, un sistema di routing in quattro fasi volto ad affrontare l''inflazione dei token nei modelli linguistici agentici. L''inflazione dei token si riferisce al rapporto tra i costi effettivi del flusso di lavoro e il costo per singola chiamata, rivelando il divario tra i prezzi dei token e i costi reali sostenuti quando i modelli tentano nuovamente query fallite. I ricercatori hanno scoperto che modelli come FrugalGPT, che si basano esclusivamente sui costi di singola chiamata, possono calcolare erroneamente i costi effettivi di oltre 2 volte in scenari complessi. InflationAgent valuta l''inflazione dei token su vari livelli di modelli e compiti, identificando tassi di inflazione fino a 4,25x per un modello 7B nel question answering multi-hop. Introduce anche l''Entropia di Ramificazione CoT (CBE), una metrica di difficoltà pre-esecuzione derivata dall''inferenza locale, che prevede un''inflazione significativa con un AUROC di 0,887. Massimizzando un Rapporto di Scambio Semantico, il router mira a migliorare l''efficienza dei costi. Questo articolo funge da annuncio cross-listato, evidenziando la sua potenziale rilevanza in vari domini. I risultati affrontano un bisogno cruciale di stima accurata dei costi nei sistemi di intelligenza artificiale, influenzando le metodologie di implementazione e di prezzo.