Quantizzazione Tail-Aware HiFloat4 per Wan2.2 Text-to-Video

Un nuovo metodo di quantizzazione chiamato Tail-Aware HiFloat4 è stato sviluppato per il modello di generazione testo-video Wan2.2. L'approccio adatta la pipeline di quantizzazione post-addestramento ViDiT-Q per utilizzare il formato numerico HiFloat4, quantizzando i principali strati lineari nei moduli transformer di Wan2.2 con quantizzazione fittizia W4A4, mantenendo i moduli di confine in alta precisione. Un modulo di calibrazione percentile consapevole della coda di attivazione costruisce maschere di canale per ridurre l'impatto di rari outlier di calibrazione. Il metodo mantiene invariati l'aritmetica HiFloat4 in esecuzione e la pipeline di campionamento. Questo lavoro è stato presentato alla sfida di quantizzazione per la generazione testo-video a bassi bit ed è descritto in un rapporto su arXiv.