Progettazione di Agenti LLM Composti in POMDP Avversari: Studio Costi-Prestazioni

Un nuovo studio su arXiv esamina i compromessi costo-prestazioni della progettazione di agenti LLM composti in ambienti avversari e parzialmente osservabili. Utilizzando la simulazione di difesa informatica CybORG CAGE-2, i ricercatori hanno testato cinque famiglie di modelli, sei modelli e dodici configurazioni in 3.475 episodi. Hanno variato la rappresentazione del contesto, i metodi di deliberazione (auto-interrogazione, auto-critica, auto-miglioramento) e la scomposizione dei compiti. Tutte le configurazioni operavano in modalità di mitigazione dei fallimenti con ricompense non positive. Lo studio fornisce una contabilità dei costi a livello di token per guidare i professionisti su quali scelte progettuali migliorano le prestazioni rispetto a quelle che aumentano solo i costi di inferenza.