La teoria PAC-Bayesiana stabilisce limiti di generalizzazione per le reti neurali con uscita anticipata
Un nuovo quadro teorico affronta la mancanza di comprensione sulla generalizzazione nelle reti neurali con uscita anticipata, che consentono alle previsioni di uscire a strati intermedi per un'accelerazione dell'inferenza di 2-8×. Il documento stabilisce un'analisi PAC-Bayesiana unificata con nuovi limiti basati sull'entropia che dipendono dall'entropia della profondità di uscita H(D) e dalla profondità attesa 𝔼[D] anziché dalla profondità massima K. La complessità campionaria è mostrata come 𝒪((𝔼[D]·d + H(D))/ε²). L'analisi produce costanti costruttive esplicite con coefficiente principale √2ln2 ≈ 1,177 e derivazione completa. Vengono stabilite condizioni sufficienti sotto le quali le reti con profondità adattiva superano nettamente le controparti a profondità fissa. Il lavoro colma una lacuna teorica esplicitamente identificata nelle recenti rassegne del settore.
Fatti principali
- Le reti neurali con uscita anticipata consentono un calcolo adattivo con accelerazione dell'inferenza di 2-8×
- Le proprietà di generalizzazione mancavano di una comprensione teorica fino a questo documento
- Stabilisce un quadro PAC-Bayesiano unificato per le reti con profondità adattiva
- Dimostra i primi limiti di generalizzazione dipendenti dall'entropia della profondità di uscita H(D) e dalla profondità attesa 𝔼[D]
- La complessità campionaria è 𝒪((𝔼[D]·d + H(D))/ε²)
- L'analisi produce un coefficiente principale √2ln2 ≈ 1,177 con derivazione completa
- Stabilisce condizioni in cui le reti con profondità adattiva superano le controparti a profondità fissa
- Affronta una lacuna teorica identificata nelle recenti rassegne del settore
Entità
Istituzioni
- arXiv