SkillGenBench: Nuovo Benchmark per la Generazione di Skill di Agenti LLM

SkillGenBench è stato lanciato da ricercatori come benchmark volto a valutare le pipeline di generazione di skill per agenti LLM. A differenza dei benchmark attuali che si concentrano sull'applicazione di skill fornite o sulle prestazioni in compiti downstream, SkillGenBench si concentra sulla generazione di skill stessa. Questo benchmark segue un protocollo standardizzato in cui un generatore prende corpora grezzi per creare artefatti di skill uniformi, che vengono poi eseguiti in ambienti fissi e valutati attraverso metodi coerenti. Comprende due scenari: generazione condizionata dal compito, in cui una skill viene sviluppata dopo la rivelazione del compito, e generazione indipendente dal compito, che implica la creazione di skill riutilizzabili senza un compito specifico. Questa iniziativa affronta il problema di produrre skill accurate, riutilizzabili ed eseguibili da varie fonti.