Trasferimento di Playbook Lato Prompt in Agenti Linguistici: Variazioni di Costo e Runtime
Un recente preprint arXiv (2608.05778) esplora come i playbook lato prompt—insiemi di istruzioni predefinite che migliorano gli agenti linguistici che utilizzano strumenti senza bisogno di riaddestramento—possano essere trasferiti in vari ambienti di distribuzione. Utilizzando un framework condiviso di distillazione-validazione-trasferimento, la ricerca valuta la trasferibilità utilizzando tre benchmark: ALFWorld, TAU2-Bench e XBench-DeepSearch. I risultati indicano che su ALFWorld, il trasferimento è vantaggioso sotto decodifica greedy controllata, con guida distillata che supera cinque dimostrazioni fisse in uno scenario quasi a budget bilanciato. Per TAU2-Bench, un contrasto aggregato predefinito rivela un leggero vantaggio medio nei domini corrispondenti, sebbene solo uno dei 135 effetti a livello di percorso rimanga significativo dopo la correzione globale di Holm. In XBench-DeepSearch, una combinazione specifica di artefatto-runtime mantiene euristiche efficaci al primo tentativo ma porta a query ripetute, arresto ritardato e costi aumentati dopo un cambiamento di contesto-runtime. Nel complesso, sia i playbook trasferiti che quelli derivati dal target richiedono adattamento al contesto target, sottolineando l'importanza del contesto nel trasferimento di playbook lato prompt per ottimizzare costi e runtime nella distribuzione degli agenti.
Fatti principali
- Lo studio è pubblicato su arXiv con identificatore 2608.05778.
- I playbook lato prompt migliorano gli agenti linguistici che utilizzano strumenti senza riaddestramento.
- Il trasferimento è vantaggioso su ALFWorld sotto decodifica greedy controllata.
- La guida distillata supera cinque dimostrazioni fisse in un confronto quasi a budget bilanciato.
- Su TAU2-Bench, la correzione globale di Holm mantiene solo uno dei 135 effetti a livello di percorso.
- Su XBench-DeepSearch, un cambiamento di contesto-runtime causa query ripetute e arresto ritardato.
- L'inflazione dei costi è sostanziale dopo il cambiamento di contesto-runtime su XBench-DeepSearch.
- Sia i playbook trasferiti che quelli derivati dal target richiedono adattamento al lato target.
Entità
Istituzioni
- arXiv