SkillSV: Un framework sensibile alla struttura per valutare le competenze degli agenti

Un articolo accademico intitolato 'Quanto vale una competenza? Valutazione Shapley sensibile alla struttura delle competenze degli agenti' è stato pubblicato su arXiv (ID: 2608.04562). Questo studio presenta SkillSV, un framework progettato per allocare credito ai componenti interni di una competenza fissa di un agente, incluse regole, esempi, script ed euristiche, mantenendo un agente coerente e una distribuzione di compiti specifica. Gli autori sottolineano che valutare le competenze è diverso dal valutare dati o porzioni di prompt a causa della natura strutturata delle unità di competenza, che possono essere interdipendenti, organizzate gerarchicamente, influenzare le azioni dell'agente e utilizzare un contesto di prompt limitato. SkillSV organizza le competenze in unità, dipendenze e gerarchie, assicurando che vengano valutate solo competenze controfattuali valide. Il framework impiega la cancellazione accoppiata e il padding neutro rispetto alla lunghezza per differenziare il valore del contenuto dal costo del contesto, stimando i valori tramite uno stimatore con budget di rollout per valutazioni rumorose. L'articolo completo è accessibile all'indirizzo https://arxiv.org/abs/2608.04562.