La generalizzazione OOD delle reti neurali dipende dal bias di ingegneria delle caratteristiche

Un recente articolo su arXiv (2605.07483) esplora le ragioni alla base dell'incapacità delle reti neurali profonde di estrapolare fuori distribuzione (OOD) nonostante apprendano efficacemente le caratteristiche chiave dai dataset di training in-distribution (ID). I ricercatori dimostrano che l'estrapolazione OOD non è identificabile da una singola finestra di training, poiché numerosi processi generativi dei dati (DGP) possono apparire equivalenti basandosi sui dati di training ma differire al di fuori di essi. Nessun singolo criterio in-distribution può risolvere efficacemente questa ambiguità. Invece, il DGP assunto e la generalizzazione OOD sono influenzati dall'impegno strutturale della mappa delle caratteristiche, della mappa delle etichette e della classe del modello, senza influenzare le prestazioni ID. Il successo si ottiene quando l'architettura, il pre-training, l'aumento dei dati, i formati di input o la conoscenza del dominio forniscono l'impegno necessario. Lo studio separa l'apprendimento delle caratteristiche dall'identificabilità del DGP, mostrando che l'ingegneria delle caratteristiche funge da bias di identificabilità per la generalizzazione OOD.