Nuovo Benchmark e Metodo per il Routing Continuo di Modelli negli Hub AI
Per affrontare il problema della selezione e dell'aggiornamento dei modelli negli hub AI in rapida evoluzione, i ricercatori hanno formalizzato il Continual Model Routing (CMR). Hanno inoltre lanciato CMRBench, un benchmark esteso che replica la crescita realistica di un hub con oltre 2.000 modelli potenziali. Inoltre, il team ha introdotto CARvE, una tecnica di embedding contrastivo che utilizza ancoraggio basato su checkpoint e replay strutturato per migliorare l'efficienza del routing. I risultati empirici indicano che CARvE supera i benchmark di recupero zero-shot, fine-tuning e adapter-merging in termini di accuratezza a livello di modello, famiglia e dominio.
Fatti principali
- Il Continual Model Routing (CMR) è stato formalizzato per hub di modelli in evoluzione
- Il benchmark CMRBench include oltre 2.000 modelli candidati
- CARvE utilizza embedding contrastivi con ancoraggio basato su checkpoint e replay strutturato
- CARvE supera le baseline di recupero zero-shot, fine-tuning e adapter-merging
- Valutato sull'accuratezza a livello di modello, famiglia e dominio
Entità
Istituzioni
- arXiv