DemoEvolve: Evoluzione dell'Harness tramite Bootstrap con Dimostrazioni per Agenti Linguistici
Un nuovo articolo di ricerca sull'IA introduce DemoEvolve, un metodo per migliorare agenti linguistici congelati evolvendo le loro strutture di harness esterne utilizzando dimostrazioni umane. L'approccio affronta il problema delle ricompense sparse in ambienti stocastici a lungo orizzonte, dove i rollout auto-generati diventano fragili. DemoEvolve utilizza traiettorie umane competenti come esperienza di riferimento esperta per guidare la diagnosi a livello di harness, superando i limiti della ricerca basata solo sulle ricompense.
Fatti principali
- DemoEvolve è un approccio basato su bootstrap con dimostrazioni per l'evoluzione dell'harness.
- Migliora agenti linguistici congelati modificando le strutture eseguibili che li circondano.
- Lavori precedenti mostrano che i rollout auto-generati possono supportare la ricerca dell'harness.
- In ambienti stocastici a lungo orizzonte, l'auto-pratica diventa fragile a causa di ricompense sparse e alta varianza.
- Le traiettorie umane servono come esperienza di riferimento esperta per il propositore di codice.
- L'articolo è pubblicato su arXiv con ID 2605.24539.
- Il metodo è descritto come adattamento rapido efficiente in termini di campioni.
- Le capacità generali del modello base rimangono intatte mentre viene acquisita competenza specifica per il compito.
Entità
Istituzioni
- arXiv