La compilazione JIT dell'agente riduce la latenza nella pianificazione degli agenti web

Una nuova tecnica nota come compilazione just-in-time (JIT) dell'agente mira a ridurre al minimo la latenza negli agenti computer-use (CUA) che facilitano le attività del browser, come effettuare ordini da Taco Bell. I sistemi esistenti si basano su un ciclo sequenziale fetch-screenshot-execute, che richiede una chiamata LLM per ogni iterazione, portando a una maggiore latenza e potenziali errori. Al contrario, la compilazione JIT trasforma le descrizioni delle attività in codice eseguibile che comprende chiamate LLM, chiamate a strumenti ed elaborazione parallela. Questo metodo comprende tre elementi: JIT-Planner, che genera e convalida più piani di codice per identificare l'opzione a costo più basso; JIT-Scheduler, che valuta i metodi di parallelizzazione utilizzando la stima dei costi Monte Carlo; e un protocollo che impone l'uso corretto degli strumenti. La ricerca è disponibile su arXiv con ID 2605.21470.