TraceCompiler: trasformare le tracce rumorose degli agenti LLM in flussi di lavoro deterministici
I ricercatori hanno creato un sistema chiamato TraceCompiler che estrae e organizza tracce rumorose da agenti basati su modelli linguistici di grandi dimensioni che utilizzano strumenti, trasformandole in flussi di lavoro principalmente deterministici. Questo affronta il problema in cui gli agenti LLM spesso ripetono le stesse procedure, producendo tracce piene di azioni ripetute ed esplorazioni non necessarie. Identifica le dipendenze tra strumenti quando l'argomento di un consumatore può essere ricondotto in modo univoco a un produttore precedente. Ogni connessione chiara include una tupla di evidenza verificabile, mentre le relazioni poco chiare sono contrassegnate come sospette e non impongono alcuna sequenza. I legami rientrano in categorie come costanti, input utente e scelte LLM. Sul dataset T1, questo sistema ha raggiunto una precisione di 0,928 e un richiamo di 0,943, con l'articolo disponibile su arXiv con codice 2608.02680.
Fatti principali
- TraceCompiler estrae cluster di tracce di agenti rumorose e le compila in flussi di lavoro eseguibili.
- Ammette dipendenze tra strumenti solo quando un argomento del consumatore contiene un valore attribuibile in modo univoco a un produttore precedente.
- I collegamenti certi portano tuple di evidenza verificabili; le relazioni ambigue sono contrassegnate come sospette e non impongono alcun vincolo di ordinamento.
- I legami sono classificati come costanti, input utente, output copiati, trasformazioni o decisioni LLM residue.
- Su T1, la regola recupera le dipendenze produttore-consumatore con precisione 0,928 e richiamo 0,943 su 15.775 archi di definizione-uso.
- I punteggi F1 di base sono 0,711 per l'adiacenza e 0,712 per i metodi basati sulla frequenza.
- L'articolo è disponibile su arXiv con identificatore 2608.02680.
- Il sistema mira a ridurre l'esplorazione ridondante negli agenti LLM.
Entità
Istituzioni
- arXiv