SkillGraph: Priorità Fondamentale del Grafo per la Raccomandazione di Sequenze di Strumenti per LLM
Un approccio innovativo chiamato SkillGraph migliora la selezione e l'ordinamento degli strumenti per agenti LLM estraendo un grafo di transizione di esecuzione diretto e pesato da 49.831 percorsi di agenti di successo. Questo grafo cattura le regolarità della precedenza dei flussi di lavoro, fungendo da priorità fondamentale riutilizzabile e superando le carenze delle tecniche puramente semantiche che trascurano le dipendenze dei dati tra gli strumenti. Il framework opera in due fasi, impiegando il recupero GS-Hybrid per selezionare i candidati e un riordinatore pairwise appreso per organizzarli. Su ToolBench, che include 9.965 casi di test e circa 16.000 strumenti, registra un Set-F1 di 0,271 e un Kendall-τ di 0,096; su API-Bank, il Kendall-τ passa da -0,433 a +0,613.
Fatti principali
- SkillGraph è un grafo di transizione di esecuzione diretto e pesato estratto da 49.831 traiettorie di agenti LLM di successo.
- Codifica le regolarità di precedenza del flusso di lavoro come priorità fondamentale del grafo riutilizzabile.
- Il metodo utilizza un framework disaccoppiato a due fasi: recupero GS-Hybrid e un riordinatore pairwise appreso.
- Su ToolBench (9.965 istanze di test, ~16.000 strumenti), raggiunge Set-F1 = 0,271 e Kendall-τ = 0,096.
- Su API-Bank, il Kendall-τ migliora da -0,433 a +0,613.
- I metodi puramente semantici esistenti possono produrre Kendall-τ negativi in domini di flusso di lavoro strutturati.
- La priorità fondamentale del grafo affronta l'assenza di dipendenze dei dati tra gli strumenti nelle descrizioni degli strumenti.
- Il lavoro è pubblicato su arXiv con ID 2604.19793.
Entità
Istituzioni
- arXiv