Gli errori di verifica delle reti neurali crescono esponenzialmente con la profondità nelle rilassazioni convesse

Uno studio pubblicato su arXiv (ID: 2604.18728v1) esamina i compromessi nei sistemi di verifica delle reti neurali che utilizzano rilassazioni convesse per migliorare le prestazioni. Questi sistemi spesso rappresentano le reti neurali come programmi di vincoli, con rappresentazioni solide e complete che richiedono vincoli interi per simulare le attivazioni. Gli approcci recenti rilassano convessamente questi vincoli interi, il che migliora l'efficienza computazionale ma sacrifica la solidità considerando output irraggiungibili dalla rete originale. La ricerca indaga sia gli aspetti qualitativi che quantitativi della divergenza nel caso peggiore tra le reti originali e le loro rilassazioni convesse. Lo spazio di rilassamento forma un reticolo dove l'elemento superiore corrisponde a un rilassamento completo con ogni neurone linearizzato, mentre l'elemento inferiore rappresenta la rete originale. I limiti analitici superiori e inferiori per la distanza ℓ∞ tra output completamente rilassati e originali rivelano che questa distanza cresce esponenzialmente con la profondità della rete e linearmente con il raggio di input. Questa crescita esponenziale evidenzia errori di verifica significativi nelle reti profonde quando si utilizzano rilassazioni convesse, influenzando l'affidabilità dei metodi di verifica delle reti neurali che privilegiano le prestazioni rispetto all'accuratezza.