AdaMerge: Fusione di Token Sensibile alla Salienza per ViT più Veloci

Un nuovo metodo chiamato AdaMerge accelera i Vision Transformers (ViT) fondendo adattivamente i token in base alla salienza, affrontando il costo quadratico dell'auto-attenzione. La fusione di token esistente (ToMe) presuppone che tutti i token siano ugualmente importanti, ma l'auto-attenzione non è uniforme, causando perdita di informazioni nei token ad alta salienza sotto compressione aggressiva. AdaMerge introduce due meccanismi: similarità ponderata per salienza, che utilizza l'affinità delle caratteristiche colonna-saggio come proxy dell'importanza del token e incorpora i punteggi di salienza nell'abbinamento bipartito, garantendo che i token cruciali contribuiscano di più; e intensità di fusione adattiva, che utilizza statistiche pre-calcolate a livello di strato per regolare i tassi di fusione. Il framework non richiede addestramento ed è progettato per l'implementazione pratica. L'articolo è disponibile su arXiv con ID 2605.27465.