TaTok: Tokenizzazione Adattiva delle Immagini Basata sull'Entropia dell'Informazione

Uno studio pubblicato su arXiv presenta TaTok, un framework di tokenizzazione adattiva delle immagini fondato sulla teoria, che affronta le carenze dei metodi esistenti. Le tecniche tradizionali comprimono tutti i dati dell'immagine in modo uniforme, ignorando la diversa densità di informazione, il che può portare sia a ridondanza che a perdita di dettagli cruciali. TaTok impiega token globali per catturare l'informazione mutua tra i token dei patch e utilizza un algoritmo di Filtraggio Dinamico dei Token (DTF) basato sull'entropia condizionale cumulativa per ridurre la ridondanza. I risultati sperimentali indicano un miglioramento di 1,3x in gFID e un aumento di 8,7x nella velocità di inferenza, posizionandolo come leader nelle prestazioni. Questo framework ottimizza l'allocazione dei token in base al contenuto informativo, aumentando significativamente l'efficienza per l'elaborazione di lunghe sequenze di immagini.