Il Punto Cieco Geometrico dell'Apprendimento Supervisionato: Teoria e Riparazione
Un nuovo articolo su arXiv dimostra che l'apprendimento supervisionato soffre intrinsecamente di un punto cieco geometrico: qualsiasi codificatore che minimizzi una funzione di perdita supervisionata deve necessariamente mantenere sensibilità alle direzioni di disturbo correlate all'etichetta nei dati di addestramento. Questa è una necessità matematica, non un fallimento dei metodi attuali. Il risultato unifica quattro fenomeni empirici precedentemente separati: caratteristiche non robuste, bias di texture, fragilità alla corruzione e il compromesso robustezza-precisione. La vulnerabilità avversaria è una conseguenza. Gli autori introducono l'Indice di Deviazione della Traiettoria (TDI) come strumento diagnostico e propongono una riparazione minima.
Fatti principali
- La minimizzazione del rischio empirico impone un vincolo geometrico necessario alle rappresentazioni apprese.
- Qualsiasi codificatore che minimizzi una perdita supervisionata deve mantenere una sensibilità Jacobiana non nulla nelle direzioni di disturbo correlate all'etichetta.
- Questo è una conseguenza matematica dell'obiettivo supervisionato stesso.
- Il punto cieco geometrico vale per regole di scoring corrette, architetture e dimensioni del dataset.
- Il teorema unifica quattro linee di lavoro empirico precedente: caratteristiche predittive non robuste, bias di texture, fragilità alla corruzione e compromesso robustezza-precisione.
- La vulnerabilità avversaria è una conseguenza di questo fatto strutturale più ampio.
- L'articolo introduce l'Indice di Deviazione della Traiettoria (TDI).
- L'articolo propone una riparazione minima per il punto cieco geometrico.
Entità
Istituzioni
- arXiv