Trasformate di Hadamard Randomizzate Dimostrate Efficaci per la Quantizzazione

Uno studio recente disponibile su arXiv (2605.06014) dimostra che applicare due trasformate di Hadamard randomizzate (RHT) a qualsiasi vettore di input di dimensione d produce una distribuzione marginale per ogni coordinata fissa che è entro O(d^{-1/2}) da una Gaussiana standard. Questo risultato affronta i limiti di prestazione nel caso peggiore associati alle singole RHT, che sono frequentemente utilizzate come sostituti efficaci delle rotazioni uniformi casuali (URR) in varie applicazioni, tra cui compressione del gradiente, miglioramento della velocità di inferenza, compressione della cache KV, quantizzazione dei pesi del modello e ricerca approssimata del vicino più prossimo. Mentre le URR producono coordinate che si avvicinano a distribuzioni gaussiane in alte dimensioni, una singola RHT può discostarsi significativamente per certi input nel caso peggiore. Questo risultato supporta la strategia di utilizzare due RHT per ottenere caratteristiche quasi gaussiane.