Rappresentare il Codice come Immagini Riduce i Token di Input fino all'86,5%

Uno studio recente pubblicato su arXiv (2607.21672) esamina i metodi di conteggio dei token delle API commerciali quando gestiscono codice sorgente come immagini rispetto a testo grezzo per modelli visione-linguaggio. I ricercatori hanno condotto uno studio di misurazione riproducibile coinvolgendo cinque linguaggi di programmazione, nove diverse lunghezze di sorgente (da 20 a 2.000 righe) e 15 varianti di modello di Anthropic, OpenAI e Google Vertex AI, che possono essere categorizzate in circa cinque firme contabili uniche. Analizzando 675 coppie testo/immagine sono emersi rapporti aggregati immagine/testo di 0,135, 0,194 e 0,242, con conseguenti riduzioni dei token di input dell'86,5%, 80,6% e 75,8%. Questa ricerca affronta una questione sistemica su come i fornitori conteggiano i token per il codice rappresentato come immagini, il che potrebbe ridurre i costi per contesti lunghi.