Previsione della VRAM negli Agenti di Sintesi di Codice: Modelli Analitici vs. Baseline Apprese

Un recente articolo su arXiv (2608.15117) indaga l'uso di picco della VRAM durante l'inferenza di LLM per agenti di sintesi di codice. La ricerca suddivide la memoria in componenti di memorizzazione dei pesi, cache KV e attivazioni, influenzate dal numero di passi, dalle invocazioni di strumenti e dall'espansione del contesto. Utilizzando un agente di sintesi di kernel CUDA basato su LangGraph (AgentK), una famiglia di quantizzazione a 4 bit (Q4_K_M) e una singola GPU NVIDIA H100, lo studio analizza quattro backbone LLM su 1.920 traiettorie. In particolare, i modelli analitici a forma chiusa, quando forniti di due costanti empiriche (VRAM dei pesi caricati e overhead fisso della memoria di attivazione), dimostrano una precisione competitiva rispetto alle baseline apprese. Per tre dei quattro backbone, il modello a forma chiusa eguaglia o supera la migliore baseline appresa, raggiungendo un MAPE di test del 2,2-4,4% rispetto al 3,4-6,5% (p=0,76). L'unica eccezione è il backbone più piccolo, dove la baseline appresa eccelle. Questa ricerca sottolinea la promessa dei modelli analitici per prevedere la memoria di picco in compiti agentici, offrendo vantaggi in termini di interpretabilità e ridotti requisiti computazionali rispetto ai metodi appresi. L'articolo è ufficialmente presentato su arXiv come 2608.15117v1.