Agent Lightning v1.0: RL Agentic con Harness per l'Addestramento di Agenti
Agent Lightning v1.0, descritto nel preprint arXiv 2608.17528, introduce un metodo innovativo di apprendimento per rinforzo (RL) incorporando l'harness di deploy nella fase di post-addestramento del modello. Questo approccio deriva dal framework Agent Lightning, che distingue il motore di addestramento dal ciclo di interazione con l'ambiente tramite un proxy di endpoint LLM. Di conseguenza, vari agenti possono impegnarsi nell'addestramento RL senza la necessità di modificare l'harness, che viene utilizzato da piattaforme come verl, Uni-Agent, AReaL 2.0, slime e Polar. Gli autori definiscono questo concetto 'harnessed agentic RL', dove l'harness governa il ciclo di interazione, presentando sfide come la retokenizzazione e la normalizzazione della perdita. Il framework è progettato per fornire una soluzione di addestramento flessibile e scalabile per gli sviluppatori che perfezionano sistemi agentici complessi.
Fatti principali
- Agent Lightning v1.0 è descritto nel preprint arXiv 2608.17528.
- L'Agent Lightning originale ha introdotto un'architettura disaggregata con un proxy di endpoint LLM.
- L'architettura consente a agenti arbitrari di essere collegati all'addestramento RL.
- I framework che adottano questo approccio includono verl, Uni-Agent, AReaL 2.0, slime e Polar.
- Il paradigma è chiamato harnessed agentic RL.
- In questo paradigma, l'harness possiede il ciclo di interazione con l'ambiente mentre il trainer vede solo coppie richiesta-risposta LLM.
- Le sfide includono retokenizzazione, fusione dei campioni, calcolo del vantaggio, normalizzazione della perdita e pianificazione del backend.
- Queste sfide possono influenzare sostanzialmente la stabilità e l'efficacia dell'addestramento.
- L'harness gestisce strumenti, contesto e flusso di controllo nei moderni sistemi agentici.
Entità
Istituzioni
- Agent Lightning
- arXiv
- verl
- Uni-Agent
- AReaL 2.0
- slime
- Polar