TRACER: Un framework di rinforzo a livello di turno per il ragionamento multi-LLM

I ricercatori hanno introdotto TRACER, un framework di rinforzo a livello di turno progettato per migliorare il ragionamento cooperativo tra più modelli linguistici di grandi dimensioni. Il framework affronta le sfide nei sistemi multi-agente come ricompense sparse, free-riding a livello di ruolo, overhead di addestramento eccessivo, collaborazione basata solo sull'imitazione e ottimi locali oscillanti. TRACER separa il processo decisionale in un livello controller-rimpianto e un livello generazione-credito. Nel livello controller-rimpianto, i controller utilizzano il regret matching per decidere se gli agenti devono parlare o saltare un turno. Il livello generazione-credito ottimizza gli interventi del proponente e del revisore utilizzando ricompense GSPO specifiche per ruolo. Questo approccio assegna credito sia a livello di modalità d'azione che di enunciato. Il lavoro è stato pubblicato su arXiv con ID 2605.28699.