SkillRet: Benchmark per il Recupero di Competenze negli Agenti LLM
Un nuovo benchmark chiamato SkillRet è stato presentato dai ricercatori per il recupero di competenze negli agenti LLM. Questo ampio benchmark comprende 17.810 competenze di agenti disponibili pubblicamente, categorizzate utilizzando tag semantici strutturati e una tassonomia a due livelli che include 6 categorie principali e 18 sottocategorie. Offre 63.259 campioni di addestramento insieme a 4.997 query di valutazione, suddivise in pool di competenze separati, facilitando sia il benchmarking che l'addestramento focalizzato sul recupero. SkillRet affronta il problema spesso trascurato di selezionare la competenza appropriata da vaste librerie, rispettando rigidi vincoli di contesto e latenza.
Fatti principali
- SkillRet è un benchmark su larga scala per il recupero di competenze negli agenti LLM.
- Contiene 17.810 competenze di agenti pubbliche.
- Le competenze sono organizzate con tag semantici strutturati e una tassonomia a due livelli.
- La tassonomia copre 6 categorie principali e 18 sottocategorie.
- Fornisce 63.259 campioni di addestramento.
- Fornisce 4.997 query di valutazione con pool di competenze disgiunti.
- Consente benchmarking e addestramento orientato al recupero.
- Affronta la sfida della selezione delle competenze in grandi librerie.
Entità
—