ZhuLong: agente LLM basato sull'esecuzione migliora l'accuratezza della script EDA
Un nuovo agente di codifica chiamato ZhuLong è stato sviluppato dai ricercatori per affrontare le sfide poste dalle API non documentate nella script EDA, concentrandosi in particolare sui problemi di coda lunghi specifici degli strumenti. Questo sistema innovativo, descritto in un articolo su arXiv (2608.07925), è destinato ai linguaggi PyAether e SKILL, utilizzando una combinazione di recupero API, analisi della documentazione ed esecuzione in sandbox tramite strumenti MCP unificati. Una caratteristica notevole è la sua auto-esplorazione API offline, che deduce comportamenti non documentati tramite esperimenti controfattuali. ZhuLong è stato testato su EDA-Eval-PyAether, un benchmark composto da 158 attività reali, raggiungendo un Pass@1 del 78,5% nell'ambiente Empyrean Aether, superando significativamente il 23,6% di una baseline LLM pura. Lo studio, scritto da ricercatori dell'Università del Texas ad Austin e di Empyrean Technology, Inc., è stato rilasciato il 1 agosto 2025.
Fatti principali
- ZhuLong è un agente di codifica LLM basato sull'esecuzione per la script EDA.
- Si rivolge ai linguaggi di scripting PyAether e SKILL.
- Combina recupero API, ispezione della documentazione ed esecuzione in sandbox tramite strumenti MCP unificati.
- Presenta un meccanismo di auto-esplorazione API offline che utilizza esperimenti controfattuali.
- Valutato sul benchmark EDA-Eval-PyAether con 158 attività reali.
- Ha raggiunto un Pass@1 del 78,5% nell'ambiente commerciale Empyrean Aether.
- La baseline LLM pura ha raggiunto solo il 23,6% di Pass@1.
- La rimozione dell'esecuzione in sandbox ha causato un calo di 41,2 punti percentuali nelle prestazioni.
- Il meccanismo di auto-esplorazione ha aggiunto 3,2 punti percentuali di accuratezza e ridotto le chiamate agli strumenti del 22,1%.
- L'articolo è disponibile su arXiv con ID 2608.07925.
Entità
Istituzioni
- University of Texas at Austin
- Empyrean Technology, Inc.
- arXiv
Luoghi
- Austin
- United States