ATLAS: Framework di Addestramento Multi-LLM con Evoluzione Adattiva del Riferimento
Un nuovo framework multi-agente chiamato ATLAS (Adaptive Task-distributed Learning for Agentic Self-evolution) è stato sviluppato da ricercatori per affrontare le carenze dei sistemi multi-LLM esistenti che dipendono da fine-tuning statico o agenti congelati. All'interno di ATLAS, meta-agenti specializzati collaborano per addestrare e migliorare un agente attivo verso una politica di dominio specifica. Un progresso significativo è l'algoritmo Evolving Direct Preference Optimization (EvoDPO), che impiega un agente di ispezione per aggiornamenti adattivi delle politiche di riferimento utilizzando il gating proxy-KL, informato dalla telemetria di addestramento in corso. Questa innovazione affronta il problema principale dell'apprendimento iterativo delle preferenze, dove modelli di riferimento fissi possono causare aggiornamenti conservativi o stagnazione. L'efficacia del framework è stata valutata su vari compiti impegnativi, con risultati pubblicati su arXiv preprint 2602.02709.
Fatti principali
- 1. ATLAS è un framework multi-agente per l'addestramento di LLM.
- 2. Utilizza meta-agenti specializzati per addestrare un agente attivo.
- 3. EvoDPO consente aggiornamenti adattivi delle politiche di riferimento.
- 4. Il framework affronta le limitazioni del fine-tuning statico.
- 5. EvoDPO utilizza aggiornamenti con gating proxy-KL basati sulla telemetria di addestramento.
- 6. Il lavoro è stato pubblicato su arXiv con ID 2602.02709.
- 7. L'approccio mira al perfezionamento di politiche specifiche del dominio.
- 8. La valutazione è stata eseguita su diversi compiti impegnativi.
Entità
Istituzioni
- arXiv