DecoR: Un Nuovo Framework di Routing per Grandi Modelli Linguistici

Un nuovo articolo di ricerca disponibile su arXiv (2605.25558v1) presenta DecoR, un innovativo framework di routing progettato per Grandi Modelli Linguistici (LLM) che affronta i problemi di memorizzazione riscontrati nelle tecniche di routing esistenti. I metodi attuali si basano su una mappatura diretta delle query ai modelli in base a caratteristiche superficiali, il che porta a una generalizzazione inadeguata per dati fuori distribuzione (OOD). DecoR ridefinisce il routing come un compito di matching che identifica query simili dai log passati. Migliora la precisione del matching attraverso un approccio di decostruzione delle capacità delle query, separando le forme linguistiche superficiali dalle esigenze intrinseche del compito, concentrandosi così sulle dimensioni delle capacità. Inoltre, gli autori hanno introdotto CodaSet, un benchmark dettagliato per valutare la generalizzazione del routing, con l'obiettivo di bilanciare le prestazioni predittive e l'efficienza computazionale nelle applicazioni LLM.