La minimizzazione consapevole dell'inconsistenza migliora la generalizzazione nell'apprendimento profondo

Un nuovo articolo su arXiv introduce la Minimizzazione Consapevole dell'Inconsistenza (IAM), un metodo per migliorare la generalizzazione nell'apprendimento profondo sfruttando dati non etichettati. Gli autori propongono una nuova misura chiamata inconsistenza locale, derivata da una prospettiva di geometria informazionale sugli spazi dei parametri delle reti neurali. L'inconsistenza locale è correlata al gap di generalizzazione e può essere calcolata senza etichette. IAM incorpora questa misura nell'obiettivo di addestramento. L'articolo fornisce connessioni teoriche con la matrice di informazione di Fisher e l'Hessiana della perdita, e i risultati empirici mostrano una migliore generalizzazione su benchmark standard.