Quadro decisionale per misure di teoria dell'informazione nell'IA

Un nuovo articolo su arXiv (2604.23716) presenta un quadro decisionale pratico per sette misure di teoria dell'informazione (IT) utilizzate nell'intelligenza artificiale: entropia, entropia incrociata, informazione mutua, entropia di trasferimento, informazione integrata (Phi), informazione effettiva (EI) e autonomia. Il quadro affronta tre domande prescrittive per ciascuna misura: la domanda a cui risponde e il suo contesto nell'IA, lo stimatore appropriato per il tipo di dati e la dimensionalità, e le modalità di fallimento più pericolose. Gli autori notano che la selezione della misura è spesso disaccoppiata dalle ipotesi dello stimatore e dalle affermazioni inferenziali sicure. L'entropia guida le suddivisioni degli alberi decisionali e la quantificazione dell'incertezza; l'entropia incrociata è la funzione di perdita predefinita per la classificazione; l'informazione mutua è alla base dell'apprendimento di rappresentazioni e della selezione delle caratteristiche; l'entropia di trasferimento rivela l'influenza diretta nei sistemi dinamici. La seconda famiglia—Phi, EI e autonomia—caratterizza la complessità dell'agente. L'articolo mira a guidare i professionisti nella scelta e nell'applicazione corretta di queste misure.