Il Benchmark FLEX Espone la Saturazione del Routing nell'Instruction Tuning Continuo Multimodale
Uno studio recente pubblicato su arXiv (2608.01437) indica che il routing esperto nell'Instruction Tuning Continuo Multimodale (MCIT) ha raggiunto una saturazione quasi totale sui benchmark attuali, mascherando la sfida del routing a lungo orizzonte. I ricercatori presentano FLEX (Fingerprint-reduced Long-horizon Expert eXamination), un benchmark composto da 34 attività progettato per minimizzare le impronte testuali che rivelano l'identità del compito. FLEX categorizza attività con formati di istruzione e risposta analoghi ma varia nei domini visivi e di conoscenza, standardizza i template esterni e valuta il routing su un orizzonte significativamente esteso. Questa ricerca sottolinea il problema trascurato dell'identificazione del compito, che è vitale per consentire ai modelli linguistici multimodali di grandi dimensioni di apprendere sequenzialmente nuove attività preservando le competenze già acquisite. I risultati indicano che i benchmark esistenti potrebbero non testare adeguatamente i sistemi di routing, e FLEX mira a offrire un quadro di valutazione più autentico.
Fatti principali
- L'articolo è disponibile su arXiv con ID 2608.01437.
- MCIT consente ai modelli linguistici multimodali di grandi dimensioni di acquisire nuove attività in sequenza mantenendo le capacità precedenti.
- Molti metodi recenti utilizzano esperti LoRA specifici per attività e instradano gli input a uno o più esperti durante l'inferenza.
- Il problema dell'identificazione del compito alla base del routing esperto è poco esplorato.
- Il routing è quasi saturo sui benchmark MCIT ampiamente utilizzati.
- Le impronte testuali che rivelano l'identità del compito e le brevi sequenze di 4-10 attività oscurano il problema del routing a lungo orizzonte.
- FLEX è un benchmark MCIT a lungo orizzonte con 34 attività e impronte testuali indebolite.
- FLEX raggruppa attività con formati di istruzione e risposta simili ma domini visivi e di conoscenza diversi.
- FLEX normalizza i template esterni e valuta il routing su un orizzonte sostanzialmente più lungo.
Entità
Istituzioni
- arXiv