Framework di Meccaniche di Apprendimento Centrate sull'Uomo per la Rappresentazione dell'Apprendimento Regolata dall'Entropia

Un nuovo quadro teorico noto come Meccaniche di Apprendimento Centrate sull'Uomo (HCLM) presenta una prospettiva dinamica e informativo-teorica sull'apprendimento profondo, considerando l'addestramento come un sistema aperto e regolato anziché un compito di ottimizzazione chiuso. Questo framework affronta questioni pratiche come l'incertezza, i limiti delle risorse, i cambiamenti di distribuzione, i rischi nelle decisioni a valle e il feedback umano. Un elemento chiave di HCLM è la nozione di entropia effettiva, che postula che la regolarizzazione dell'entropia sia vantaggiosa solo se il surrogato di entropia selezionato produce una forza informativa non degenere lungo il percorso di ottimizzazione. In caso contrario, i termini di entropia possono portare a gradienti deboli, instabili o disallineati, con dinamiche che tornano alla minimizzazione standard della perdita. La ricerca introduce surrogati di entropia geometrica gestibili, come misure di covarianza basate sulla varianza e sul log-determinante. L'articolo è disponibile su arXiv con riferimento 2605.22940.