TraceGraph: Framework basato su grafi per l'analisi delle traiettorie degli agenti
Un nuovo framework chiamato TraceGraph è stato sviluppato dai ricercatori per convertire i percorsi di interazione di agenti multi-modello in paesaggi decisionali collaborativi. Costruendo grafi a partire da stati osservabili di azione-osservazione derivati da rollout combinati prima dell'identificazione del modello, TraceGraph individua nuclei efficaci e aree di trappola. Ogni rollout è racchiuso da tre eventi chiave: Accesso, Esposizione alla trappola e Riparazione. Un esame su cinque suddivisioni di benchmark rivela variazioni di navigazione oscurate dai punteggi complessivi, indicando che le suddivisioni differiscono nei loro incentivi per evitare trappole rispetto al recupero da esse. Inoltre, il framework supporta una pipeline di recupero sensibile alle trappole per SWE-bench, utilizzando un rilevatore runtime che si attiva su stati corrispondenti ad aree di trappola storiche.
Fatti principali
- TraceGraph è un framework basato su grafi per l'analisi delle traiettorie degli agenti.
- Costruisce grafi su stati di azione-osservazione da rollout aggregati.
- Identifica nuclei produttivi e regioni di trappola.
- Ogni rollout è riassunto con tre eventi: Accesso, Esposizione alla trappola e Riparazione.
- L'analisi su cinque suddivisioni di benchmark rivela differenze di navigazione.
- Le suddivisioni differiscono nel premiare l'evitamento delle trappole rispetto al recupero.
- Viene motivata una pipeline di recupero sensibile alle trappole per SWE-bench.
- La pipeline utilizza un rilevatore runtime su regioni di trappola storiche.
Entità
—