FusionRoute: Framework di Collaborazione tra LLM a Livello di Token
FusionRoute è un nuovo framework per la collaborazione multi-LLM a livello di token, in cui un router leggero seleziona il modello esperto più adatto ad ogni passo di decodifica e ne raffina l'output tramite addizione di logit. Questo affronta il compromesso tra modelli grandi di uso generale e modelli piccoli specializzati. L'analisi teorica mostra che il routing puro basato solo su esperti è fondamentalmente limitato.
Fatti principali
- 1. arXiv:2601.05106v4
- 2. Proposto il framework FusionRoute
- 3. Collaborazione multi-LLM a livello di token
- 4. Router leggero seleziona l'esperto per ogni passo di decodifica
- 5. Il router contribuisce con logit complementare tramite addizione di logit
- 6. Affronta il dilemma tra modelli generali e specializzati
- 7. Analisi teorica delle limitazioni del routing puro basato su esperti
Entità
—