Generalizzazione Cross-Benchmark in Agenti a Lungo Orizzonte
Un nuovo studio su arXiv (2608.00181v1) esplora la generalizzazione cross-benchmark in agenti di apprendimento per rinforzo (RL) a lungo orizzonte. I ricercatori sostengono che in ambienti controllati, le politiche possono sfruttare schemi specifici—come schemi di strumenti e modelli di attività—per ottenere ricompense senza sviluppare veramente abilità trasferibili. Sottolineano che il comportamento dell'agente dopo l'addestramento è cruciale e sostengono il trasferimento cross-benchmark come misura importante. Per dimostrare ciò, hanno applicato un modello mixture-of-experts (Qwen3.5-122B-A10B) a 363 compiti MCP a lungo orizzonte in 27 categorie, utilizzando un metodo in due fasi SFT-then-RL. Sebbene le scelte iniziali siano state influenzate dalle prestazioni di Toolathlon, i benchmark esterni non hanno influenzato l'addestramento o le ricompense. Il modello ha mostrato prestazioni migliori su un benchmark senza nome, suggerendo che il trasferimento cross-benchmark potrebbe indicare lo sviluppo effettivo di abilità. Questo studio fa luce sulla generalizzazione degli agenti RL e evidenzia l'importanza di valutazioni oltre i test solo in-distribution.
Fatti principali
- Articolo arXiv:2608.00181v1 sulla generalizzazione cross-benchmark in agenti a lungo orizzonte.
- Gli autori sostengono che in ambienti autocontenuti, le politiche possono sfruttare regolarità specifiche dell'ambiente piuttosto che acquisire abilità trasferibili.
- Propongono che il trasferimento cross-benchmark sia il luogo giusto per cercare prove comportamentali di abilità.
- Hanno post-addestrato un modello mixture-of-experts a pesi aperti (Qwen3.5-122B-A10B) su 363 compiti MCP a lungo orizzonte in 27 categorie.
- Hanno utilizzato un pipeline in due fasi SFT-then-RL.
- Le prestazioni di Toolathlon hanno informato le scelte iniziali della famiglia base e dell'insegnante SFT, ma nessun compito o valutatore di benchmark esterno è entrato nell'addestramento.
- Nessun punteggio esterno ha informato la ricompensa, gli iperparametri di addestramento, la selezione dei checkpoint o l'arresto.
- A greedy pass@1, il modello addestrato migliora rispetto alla base su un benchmark non specificato.
- Lo studio enfatizza la valutazione comportamentale degli agenti oltre i holdout in-distribution.
Entità
Istituzioni
- arXiv