SplitQ: Separazione dei Canali per la Quantizzazione a Bassa Bit di VLM

I ricercatori propongono SplitQ, un framework di quantizzazione post-addestramento per modelli linguistico-visivi su larga scala (VLM) che affronta le distribuzioni di attivazione eterogenee tra le modalità testuale e visiva. Il metodo introduce un modulo di Disaccoppiamento dei Canali Anomali Specifici per Modalità (MOCD) per isolare i canali anomali salienti, distribuiti in modo disomogeneo tra le modalità. Un'ulteriore Calibrazione Adattiva Cross-Modale (ACC) riduce le restanti discrepanze di distribuzione. Il lavoro mira a un'implementazione efficiente dei VLM su dispositivi con risorse limitate.