Gli Agenti AI Consumano 1000x Più Token nei Compiti di Codifica Rispetto alla Chat
Uno studio recente pubblicato su arXiv (2604.22750) presenta la prima analisi completa delle tendenze di consumo di token tra gli agenti AI impegnati in attività di codifica. La ricerca ha esaminato i dati di otto modelli linguistici avanzati utilizzando SWE-bench Verified, rivelando che le attività agentiche utilizzano circa 1.000 volte più token rispetto alla codifica convenzionale o alla chat di codice. In particolare, la maggior parte dei costi deriva dai token di input, non da quelli di output. La variabilità nel consumo di token è significativa, con variazioni fino a 30 volte nel totale dei token per compiti identici. Inoltre, lo studio valuta la capacità dei modelli di stimare le proprie spese di token prima dell'esecuzione.
Fatti principali
- Il paper arXiv 2604.22750 analizza il consumo di token nei compiti di codifica agentici AI.
- Otto LLM all'avanguardia sono stati testati su SWE-bench Verified.
- I compiti agentici consumano 1000x più token rispetto alla codifica o alla chat di codice.
- I token di input sono il principale fattore di costo, non quelli di output.
- L'uso di token varia fino a 30x tra esecuzioni dello stesso compito.
- Lo studio esamina la capacità dei modelli di prevedere i costi dei token prima dell'esecuzione.
- Il consumo di token è descritto come intrinsecamente stocastico.
- La ricerca è il primo studio sistematico dei modelli di consumo di token nella codifica agentica.
Entità
Istituzioni
- arXiv