Capsule di Agenti: Esecuzione Adattiva per Pipeline LLM Multi-Agente
Un nuovo framework chiamato Agent Capsules ottimizza le pipeline LLM multi-agente trattando l'esecuzione come un problema di ottimizzazione con vincoli di qualità. Fonde gli agenti in meno chiamate per risparmiare token, ma monitora il degrado della qualità dovuto alla perdita di strumenti e alla compressione dei prompt. Il runtime valuta le opportunità di composizione, seleziona tra tre strategie (standard, a due fasi, sequenziale) e controlla i cambi di modalità in base alla qualità media mobile dell'output. Un risultato negativo controllato mostra che l'iniezione di più contesto peggiora la compressione, quindi la scala di escalation recupera la qualità spostandosi verso l'invio per agente. Il controller utilizza metriche di qualità giudicate dall'LLM.
Fatti principali
- Una pipeline multi-agente con N agenti emette tipicamente N chiamate LLM per esecuzione.
- Fondere gli agenti in meno chiamate promette risparmio di token ma degrada la qualità.
- Agent Capsules è un runtime di esecuzione adattivo.
- Tratta l'esecuzione di pipeline multi-agente come un problema di ottimizzazione con vincoli di qualità empirici.
- Il runtime valuta l'opportunità di composizione e seleziona tra tre strategie di esecuzione composte.
- Ogni cambio di modalità è controllato dalla qualità media mobile dell'output.
- Un risultato negativo controllato conferma che l'iniezione di più contesto peggiora la compressione.
- La scala di escalation si sposta verso l'invio per agente per recuperare la qualità.
Entità
—