TRACE-Router: Un Framework di Routing a Livello di Compito per l'IA Agente
TRACE-Router, un innovativo framework di routing, affronta la discrepanza tra il routing per chiamata LLM e i risultati a livello di compito nelle applicazioni agente. Mentre i router attuali prendono decisioni separate per ogni chiamata LLM, i flussi di lavoro agente si basano su metriche ritardate per la qualità a livello di compito. TRACE-Router assegna un modello a ciascun compito al momento dell'ammissione tramite un bandito contestuale, collega tutte le successive chiamate LLM a quel backend specifico e perfeziona la sua politica in base alla ricompensa terminale del compito, considerando sia l'accuratezza che la latenza. Questo metodo utilizza il feedback ritardato per sviluppare strategie di routing adattive. Il documento di ricerca è disponibile su arXiv.
Fatti principali
- TRACE-Router è un framework di routing a livello di compito per modelli linguistici di grandi dimensioni.
- Affronta la mancata corrispondenza tra il routing per chiamata e i risultati ritardati a livello di compito nell'IA agente.
- Assegna ogni compito a un modello una volta all'ammissione utilizzando un bandito contestuale.
- Tutte le successive chiamate LLM per un compito sono vincolate al backend selezionato.
- Gli aggiornamenti della politica utilizzano la ricompensa terminale del compito, considerando congiuntamente accuratezza e latenza.
- Il framework sfrutta il feedback ritardato del compito per apprendere politiche di routing adattive.
- Il documento è pubblicato su arXiv con ID 2607.22465.
- TRACE-Router sta per Task-Consistent and Adaptive Online Routing.
Entità
Istituzioni
- arXiv