Approssimazioni Entropiche Veloci per l'Entropia di Shannon e la Divergenza KL
Un recente studio pubblicato su arXiv introduce le Approssimazioni Entropiche Veloci (FEA), che sono approssimazioni razionali non singolari per l'entropia di Shannon (SE) e la divergenza di Kullback-Leibler simmetrizzata (KL). Queste nuove approssimazioni mantengono le caratteristiche matematiche essenziali e raggiungono errori medi assoluti di circa 10^-3, superando i metodi computazionali esistenti di 10-20 volte. Le FEA consentono calcoli fino a due volte più veloci per l'SE e 37 volte più rapidi per la KL simmetrizzata. Questa ricerca affronta il problema della singolarità del gradiente vicino allo zero, un fattore significativo che contribuisce a costi elevati, bassa robustezza e lenta convergenza in vari campi, tra cui fisica, teoria dell'informazione, apprendimento automatico e calcolo quantistico.
Fatti principali
- 1. Vengono proposte Approssimazioni Entropiche Veloci (FEA) per l'entropia di Shannon e la divergenza di Kullback-Leibler simmetrizzata.
- 2. Le FEA sono approssimazioni razionali non singolari che preservano le principali proprietà matematiche.
- 3. Gli errori medi assoluti sono circa 10^-3, 10-20 volte migliori rispetto ad approssimazioni comparabili allo stato dell'arte.
- 4. Le FEA consentono un calcolo fino a 2 volte più veloce dell'entropia di Shannon.
- 5. Le FEA consentono un calcolo fino a 37 volte più veloce della divergenza KL simmetrizzata.
- 6. L'articolo affronta la singolarità del gradiente vicino allo zero nelle misure entropiche.
- 7. Le applicazioni includono fisica, teoria dell'informazione, apprendimento automatico e calcolo quantistico.
- 8. L'articolo è disponibile su arXiv con ID 2505.14234.
Entità
Istituzioni
- arXiv