ContinualSkillBench: Valutare l'Evoluzione delle Competenze negli Agenti LLM

Uno studio recente presenta ContinualSkillBench, un framework di valutazione innovativo volto a determinare la capacità degli agenti basati su grandi modelli linguistici (LLM) di sviluppare progressivamente le proprie competenze. Questo framework comprende cinque domini chiave, ciascuno con 100 sotto-compiti interconnessi disposti per complessità crescente e opportunità di riutilizzo delle competenze tra i compiti. I risultati indicano che l'esecuzione sequenziale dei compiti tipicamente migliora le prestazioni, sebbene i miglioramenti differiscano significativamente tra vari modelli e domini. È interessante notare che l'apprendimento contestuale (in-context learning) mostra prestazioni simili alla manutenzione esplicita delle competenze in media, implicando che gran parte del miglioramento deriva dall'adattamento al contesto precedente e al feedback piuttosto che esclusivamente dall'astrazione di competenze riutilizzabili. La ricerca è disponibile su arXiv con l'identificatore 2608.03874.