CANTANTE: Un Nuovo Framework per Ottimizzare i Sistemi Multi-Agente Basati su LLM
Uno studio recente introduce CANTANTE, un nuovo framework volto a migliorare i sistemi multi-agente basati su LLM affrontando il problema dell'assegnazione del credito. In questi sistemi, è difficile ottimizzare le impostazioni dei singoli agenti poiché le metriche di performance sono disponibili solo a livello di sistema complessivo. CANTANTE risolve questo problema scomponendo le ricompense di sistema in segnali specifici per ogni agente, basandosi sul confronto di diverse configurazioni sulle stesse query. È particolarmente utile per ottimizzare i prompt, trattando i prompt degli agenti come parametri apprendibili. Testato su compiti come programmazione (MBPP), ragionamento matematico (GSM8K) e risposta a domande multi-hop (HotpotQA), CANTANTE ha superato i modelli di base GEPA e MIPROv2 nella classifica media. Il paper è disponibile su arXiv con l'identificatore 2605.13295.
Fatti principali
- CANTANTE è un framework per ottimizzare sistemi multi-agente basati su LLM.
- Affronta il problema dell'assegnazione del credito nei sistemi multi-agente.
- Il framework scompone le ricompense a livello di sistema in segnali di aggiornamento per ogni agente.
- Confronta rollout di multiple configurazioni congiunte sulla stessa query.
- CANTANTE è istanziato per l'ottimizzazione dei prompt.
- I prompt degli agenti sono trattati come parametri di sistema apprendibili.
- Valutato sui benchmark MBPP, GSM8K e HotpotQA.
- CANTANTE ottiene il miglior rango medio rispetto a GEPA e MIPROv2.
Entità
Istituzioni
- arXiv