Codificatori Auto-Supervisionati e il Collo di Bottiglia Informazionale

Uno studio recente pubblicato su arXiv introduce un framework per l'apprendimento encoder-decoder che integra concetti geometrici e teorico-informativi, basato sul principio del Collo di Bottiglia Informazionale (IB). Ridefinendo l'IB come un problema rate-distortion che utilizza la divergenza di Kullback-Leibler per la distorsione, i ricercatori dimostrano che le rappresentazioni ottimali si manifestano come soft clustering all'interno della varietà predittiva del simplesso di probabilità, consentendo un decodificatore lineare nella sua forma canonica. Derivano anche trasformazioni da distribuzioni di Dirichlet piatte a forme esponenziali e gaussiane isotropiche, collegando le priorità di massima entropia allo spazio euclideo quantificando al contempo il sovraccarico di entropia. La regolarizzazione gaussiana isotropica abbozzata (SIGReg) proposta offre un rilassamento gaussiano di questo concetto, influenzando la contabilizzazione del tasso senza influenzare le previsioni ottenibili. Il documento è disponibile su arXiv con ID 2604.27743.