La stima dell'informazione mutua neurale migliora la decodifica dei modelli di diffusione mascherati

Una nuova architettura neurale valuta direttamente l'informazione mutua (MI) condizionale a coppie dagli stati nascosti di modelli di diffusione mascherati (MDM) pre-addestrati. Questo stimatore, addestrato sulle distribuzioni condizionali del modello stesso utilizzando la MI reale, cattura efficacemente le credenze di dipendenza interna e prevede l'intera matrice MI in un unico passaggio in avanti. Questa capacità facilita la decodifica parallela guidata dalla MI, individuando sottoinsiemi di variabili condizionalmente indipendenti. Testato su Sudoku e generazione di sequenze proteiche utilizzando ESM-C, le mappe MI recuperano con successo vincoli strutturali noti e riducono i passaggi in avanti durante l'inferenza di un fattore da 3 a 5.