LatentRouter prevede le prestazioni del modello multimodale prima dell'esecuzione

I ricercatori propongono LatentRouter, un sistema che prevede quanto bene un modello linguistico multimodale di grandi dimensioni (MLLM) si comporterà su un dato input immagine-domanda prima di eseguire effettivamente il modello. Il router estrae capsule di routing multimodali dalla query e le confronta con i token di capacità del modello tramite comunicazione latente, stimando l'utilità controfattuale per ciascun MLLM candidato. Una testa di output distribuzionale prevede la qualità specifica del modello, mentre una correzione di capsule limitata perfeziona le decisioni incerte. L'approccio affronta i punti di forza eterogenei degli MLLM in compiti come OCR, comprensione di grafici, ragionamento spaziale e risposta a domande visive, mirando a ottimizzare sia le prestazioni che i compromessi costo/latenza. L'articolo è pubblicato su arXiv con ID 2605.11301.