SKT: pipeline di dati sintetici verificata migliora l'uso delle competenze degli agenti
Un recente articolo di ricerca presenta SKT, un framework validato di sintesi dei dati volto a migliorare le capacità degli agenti basati su modelli linguistici nel riconoscere, utilizzare e coordinare le competenze. Questo framework genera attività basate sulle competenze e percorsi eseguibili a partire da ampi database di competenze degli agenti, impiegando metodi di verifica basati su regole e su agenti, insieme a correzioni guidate dal feedback, per garantire che vengano mantenute solo le traiettorie di successo che coinvolgono efficacemente tutte le competenze necessarie. Sfruttando 2.000 competenze pubbliche, SKT ha generato 4.000 pacchetti di attività e 27.164 traiettorie verificate. Inoltre, lo stesso framework ha facilitato la creazione di SkillEval, un benchmark eseguibile separato per valutare l'applicazione delle competenze. L'articolo è disponibile su arXiv con identificativo 2608.02287.
Fatti principali
- SKT è una pipeline di sintesi dati verificata per migliorare l'uso delle competenze negli agenti basati su modelli linguistici.
- Costruisce attività basate sulle competenze e traiettorie eseguibili a partire dalle competenze degli agenti.
- Seleziona configurazioni a competenza singola e multi-competenza.
- Utilizza verifica basata su regole e su agenti con riparazione guidata dal feedback.
- Mantiene solo le traiettorie di successo che utilizzano sostanzialmente ogni competenza richiesta.
- Utilizzando 2.000 competenze pubbliche, SKT ha prodotto 4.000 pacchetti di attività e 27.164 traiettorie verificate.
- SkillEval è un benchmark eseguibile di riserva per valutare l'uso delle competenze.
- L'articolo è disponibile su arXiv con identificativo 2608.02287.
Entità
Istituzioni
- arXiv